> > > > DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

Veröffentlicht am: von

deepmindDie Google-Tochter DeepMind will Machine-Learning-Anwendungen in die verschiedensten Bereiche einbringen. Bereits seit einiger Zeit arbeitet man an ML-Netzwerken, die in Spielen ein taktisches Verständnis entwickeln sollen. Dabei gehen die Algorithmen einen Schritt weiter als Systeme, die in Brettspielen wie Schach oder Go schon längst auch die stärksten menschlichen Gegner schlagen.

Für Starcraft II und Dota 2 gibt es bereits entsprechende Entwicklungen, nun soll ein weitere Domäne des Esports fallen: Egoshooter. Dabei geht es nicht darum, dass ein Computer besser zielen oder schneller reagieren kann als ein menschlicher Gegner – dies ist bereits seit Jahrzehnten möglich (Stichwort Aimbot) – sondern es geht um eine taktisches Verständnis des Spiels zum Beispiel in Capture the Flag. Nun hat DeepMind den aktuellen Entwicklungsstand für Quake III Arena Capture the Flag vorgestellt und beschreibt in einem Blogbeitrag auch die Funktionsweise des Trainings.

Die Regeln für Capture the Flag sind eigentlich recht einfach: Zwei Teams müssen die Flagge des gegnerischen Teams aufnehmen und in die eigene Basis bringen. Jedes Team kann aus einer unterschiedlichen Anzahl an Spielern bestehen, die aber nicht jeder für sich agieren sollte, sondern die zusammenarbeiten. Es geht darum die eigenen Flagge zu verteidigen, aber auch koordiniert anzugreifen. Dabei ändern sich auch die Voraussetzungen in Form der Maps auf denen gespielt wird. Je nachdem wie diese aufgebaut sind, muss sich das Verhalten der künstlichen Intelligenz auch ändern.

Für das Training verwendete DeepMind folgende Ideen:

  • anstatt einzelne Intelligenzen zu trainieren, lernten mehrere sogenannte Agents gemeinsam
  • jeder Agent besitzt aber eigene Ziele für das Training, zum Beispiel die Flagge des Gegners zu erobern oder aber die eigene zu verteidigen.
  • das Training der Agents findet ausschließlich auf Basis eigener Erkenntnisse statt. Es wurden ihnen kein Verhalten vorprogrammiert.
  • in einem zweiten Schritt spielen Agents in Teams gegeneinander, lernen aber auch aus Spielen gegen menschliche Spieler. Die menschlichen Spieler sind dabei Gegner, können aber auch Mitspieler sein.

Nach etwas mehr als 150.000 Matches ist der trainierte Agent bereits besser als der beste menschliche Spieler. Dabei wurde den Agents aber eine künstliche Verzögerung und Ungenauigkeit beigebracht, damit der Vergleich gegen menschliche Spieler überhaupt fair gestaltet werden kann.

Während des Trainings mit menschlichen Spielern zeigte sich auch, dass die Agents sich ein entsprechendes Verhältnis aneignen. So belagern sie die eigene oder die Basis des Gegners oder beginnen damit, bestimmten Teammitgliedern zu folgen. Es stellt sich ein gewisses taktisches Verständnis ein – je nach Spielsituation, jeweiliger Karte und dem Verhalten der Mitspieler sowie Gegner.

Die Entwicklung eines For The Win (FTW) Agents in Quake III Arena Capture the Flag ist ein weiterer Schritt für ML-Systeme die mehr sind als nur eine Bibliothek an Spielzügen. Die AI eignet sich die Regeln selbst an, arbeitet mit weiteren Intelligenzen zusammen und bekommt ein taktisches Verständnis für das Vorgehen des Gegners und des eigenen Teams. Dies ist ein fundamentaler Unterschied zu den bisherigen Systemen in Starcraft II, Dota 2 oder den besagten Brettspielen.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (1)

#1
Registriert seit: 10.01.2015

Oberbootsmann
Beiträge: 928
Skynet auf Probe...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Deutschen Bahn trainiert Mitarbeiter in der virtuellen Realität

Logo von IMAGES/STORIES/2017/DEUTSCHE_BAHN

Nicht nur das autonome Fahren auf der Straße spielt auf der GPU Technology Conference in München eine Rolle, auch die Deutsche Bahn hielt einen Vortrag, der sich mit dem Training von Mitarbeitern in einer virtuellen Umgebung befasste. Autonome Züge spielten jedenfalls keine Rolle, auch wenn in... [mehr]

TomsHardware.de muss seine Pforten schließen (Update)

Logo von IMAGES/STORIES/2017/THG

Eine der bekanntesten deutschen IT-Seiten TomsHardware.de wird abgeschaltet. Damit geht eine Ära zu Ende, denn die 1996 noch unter einem anderen Namen gestartete Webseite gehört sicherlich zu den Größen in diesem Bereich. Der genaue Termin für die Abschaltung der Server steht noch nicht... [mehr]

Ende des Mining-Booms: Absätze bei den Grafikkarten brechen um bis zu 80 % ein...

Logo von IMAGES/STORIES/2017/BITCOIN

Investoren und Analysten mahnen seit Monaten vor einem Einbruch am Grafikkarten-Markt, doch bisher hat sich dies in den Absatz- und Umsatzzahlen der Hersteller noch nicht wirklich gezeigt. Nun mehren sich aber die Zeichen aus Asien, dass es ab März/April einen erheblich Einbruch bei den... [mehr]

NVIDIA intern: Begehrtestes Produkt ist ein Lineal

Logo von IMAGES/STORIES/2017/NVIDIA

Zwischen den Jahren einmal etwas Kurioses: Größere Unternehmen bieten ihren Mitarbeitern oftmals in internen Shops bestimmte Produkte an. T-Shirt und Kaffeetasse sind hier nur die einfachsten Beispiele. NVIDIA verkauft alle eigenen Produkte natürlich auch an die eigenen Mitarbeiter. Dazu... [mehr]

Apple Pay weiterhin nicht in Deutschland vorgesehen

Logo von IMAGES/STORIES/2017/APPLE_PAY

Apple Pay ist das drahtlose Bezahlsystem des iPhone-, iPad- und Mac-Herstellers, welches am 20. Oktober 2014 startet, bisher aber noch immer nicht den Weg nach Deutschland gefunden hat. Inzwischen hat Apple für viele Nachbarländer Apple Pay bereits eingeführt, Deutschland aber ist nach wie vor... [mehr]

Ermittler nehmen großes, illegales Usenet-Portal vom Netz

Logo von RECHTSSTREIT

Wie die Gesellschaft zur Verfolgung von Urheberrechtsverletzungen (GVU) in Zusammenarbeit mit mehreren Ermittlungsstellen per Pressemitteilung bekannt gab, hat es am Mittwoch und Donnerstag eine bundesweite Groß-Razzia gegen das Portal „usnetrevoloution.info“ gegeben – wegen des Verdachts... [mehr]