> > > > DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

Veröffentlicht am: von

deepmindDie Google-Tochter DeepMind will Machine-Learning-Anwendungen in die verschiedensten Bereiche einbringen. Bereits seit einiger Zeit arbeitet man an ML-Netzwerken, die in Spielen ein taktisches Verständnis entwickeln sollen. Dabei gehen die Algorithmen einen Schritt weiter als Systeme, die in Brettspielen wie Schach oder Go schon längst auch die stärksten menschlichen Gegner schlagen.

Für Starcraft II und Dota 2 gibt es bereits entsprechende Entwicklungen, nun soll ein weitere Domäne des Esports fallen: Egoshooter. Dabei geht es nicht darum, dass ein Computer besser zielen oder schneller reagieren kann als ein menschlicher Gegner – dies ist bereits seit Jahrzehnten möglich (Stichwort Aimbot) – sondern es geht um eine taktisches Verständnis des Spiels zum Beispiel in Capture the Flag. Nun hat DeepMind den aktuellen Entwicklungsstand für Quake III Arena Capture the Flag vorgestellt und beschreibt in einem Blogbeitrag auch die Funktionsweise des Trainings.

Die Regeln für Capture the Flag sind eigentlich recht einfach: Zwei Teams müssen die Flagge des gegnerischen Teams aufnehmen und in die eigene Basis bringen. Jedes Team kann aus einer unterschiedlichen Anzahl an Spielern bestehen, die aber nicht jeder für sich agieren sollte, sondern die zusammenarbeiten. Es geht darum die eigenen Flagge zu verteidigen, aber auch koordiniert anzugreifen. Dabei ändern sich auch die Voraussetzungen in Form der Maps auf denen gespielt wird. Je nachdem wie diese aufgebaut sind, muss sich das Verhalten der künstlichen Intelligenz auch ändern.

Für das Training verwendete DeepMind folgende Ideen:

  • anstatt einzelne Intelligenzen zu trainieren, lernten mehrere sogenannte Agents gemeinsam
  • jeder Agent besitzt aber eigene Ziele für das Training, zum Beispiel die Flagge des Gegners zu erobern oder aber die eigene zu verteidigen.
  • das Training der Agents findet ausschließlich auf Basis eigener Erkenntnisse statt. Es wurden ihnen kein Verhalten vorprogrammiert.
  • in einem zweiten Schritt spielen Agents in Teams gegeneinander, lernen aber auch aus Spielen gegen menschliche Spieler. Die menschlichen Spieler sind dabei Gegner, können aber auch Mitspieler sein.

Nach etwas mehr als 150.000 Matches ist der trainierte Agent bereits besser als der beste menschliche Spieler. Dabei wurde den Agents aber eine künstliche Verzögerung und Ungenauigkeit beigebracht, damit der Vergleich gegen menschliche Spieler überhaupt fair gestaltet werden kann.

Während des Trainings mit menschlichen Spielern zeigte sich auch, dass die Agents sich ein entsprechendes Verhältnis aneignen. So belagern sie die eigene oder die Basis des Gegners oder beginnen damit, bestimmten Teammitgliedern zu folgen. Es stellt sich ein gewisses taktisches Verständnis ein – je nach Spielsituation, jeweiliger Karte und dem Verhalten der Mitspieler sowie Gegner.

Die Entwicklung eines For The Win (FTW) Agents in Quake III Arena Capture the Flag ist ein weiterer Schritt für ML-Systeme die mehr sind als nur eine Bibliothek an Spielzügen. Die AI eignet sich die Regeln selbst an, arbeitet mit weiteren Intelligenzen zusammen und bekommt ein taktisches Verständnis für das Vorgehen des Gegners und des eigenen Teams. Dies ist ein fundamentaler Unterschied zu den bisherigen Systemen in Starcraft II, Dota 2 oder den besagten Brettspielen.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (1)

#1
Registriert seit: 10.01.2015

Leutnant zur See
Beiträge: 1124
Skynet auf Probe...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • Interstellar: Hunderte CPUs berechnen schwarzes Loch

    Logo von IMAGES/STORIES/2017/SCHWARZES-LOCH

    Der Film Interstellar aus dem Jahre 2014 zeichnete sich vor allem durch eine möglichst realistische Darstellung und Simulation eines schwarzen Loches aus. Christopher und Jonathan Nolan schrieben das Drehbuch und zeichneten sich auch für die filmische Umsetzung verantwortlich. Der... [mehr]

  • Vodafone schaltet erste Gigabit-Anschlüsse über Kabel für 20 Euro

    Logo von IMAGES/STORIES/2017/VODAFONE_LOGO

    Vodafone versorgt ab sofort die ersten Kunden mit einer Geschwindigkeit von bis zu 1 Gbit/s. Das Unternehmen hat hierfür stellenweise sein Kabelnetz auf DOCSIS 3.1 umgerüstet und kann aktuell 400.000 Haushalte mit der schnellen Geschwindigkeit versorgen. Zu den ersten Städten mit der schnellen... [mehr]

  • Nachfrage bei den Grafikkarten soll weiter sinken

    Logo von IMAGES/STORIES/2017/BITCOIN

    Bereits im Mai deutete sich eine sprunghaft sinkende Nachfrage bei den Grafikkarten an, was besonders solche Hersteller zu spüren bekommen haben, die ausschließlich mit den Grafikkarten ihr Geld verdienen. Aus Taiwan kommen nun Meldungen, die eine sinkende bzw. geringe Nachfrage für die... [mehr]

  • Amazon geht mit manipulierten Paketen gegen Diebe vor

    Logo von IMAGES/STORIES/2017/AMAZON

    Amazon hat anscheinend mit immer größeren Problemen beim Diebstahl von Paketen zu kämpfen. Teilweise sollen die Lieferanten die Pakete verschwinden lassen und Amazon bleibt letztendlich auf dem Schaden sitzen. Wie ein Insider berichtet, soll das Unternehmen allerdings in der jüngeren... [mehr]

  • ASUS Software Updates mit Malware verseucht (2. Update)

    Logo von IMAGES/STORIES/2017/ASUS_LOGO

    Bereits mehrfach hat sich gezeigt, dass Software einiger Systemhersteller nicht wirklich mit Fokus auf eine möglichst hohe Software-Sicherheit entwickelt wird. So gab es bereits mehrfach große Sicherheitslücken in Software von ASUS und Gigabyte. Offenbar gab es bei ASUS aber auch noch andere... [mehr]

  • Gewinnwarnung: Schleppende Geschäfte bei Media Markt und Saturn

    Logo von IMAGES/STORIES/2017/MEDIA_MARKT

    Vierzehn Minuten vor Mitternacht und nur wenige Tage vor der Veröffentlichung der eigentlichen Quartalszahlen ging der Elektronik-Händler Ceconomy, unter dessen Dach auch Media Markt und Saturn zusammengeführt werden, am Montagabend mit einer weiteren Adhoc-Meldung an die Öffentlichkeit. Der... [mehr]