> > > > DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

Veröffentlicht am: von

deepmindDie Google-Tochter DeepMind will Machine-Learning-Anwendungen in die verschiedensten Bereiche einbringen. Bereits seit einiger Zeit arbeitet man an ML-Netzwerken, die in Spielen ein taktisches Verständnis entwickeln sollen. Dabei gehen die Algorithmen einen Schritt weiter als Systeme, die in Brettspielen wie Schach oder Go schon längst auch die stärksten menschlichen Gegner schlagen.

Für Starcraft II und Dota 2 gibt es bereits entsprechende Entwicklungen, nun soll ein weitere Domäne des Esports fallen: Egoshooter. Dabei geht es nicht darum, dass ein Computer besser zielen oder schneller reagieren kann als ein menschlicher Gegner – dies ist bereits seit Jahrzehnten möglich (Stichwort Aimbot) – sondern es geht um eine taktisches Verständnis des Spiels zum Beispiel in Capture the Flag. Nun hat DeepMind den aktuellen Entwicklungsstand für Quake III Arena Capture the Flag vorgestellt und beschreibt in einem Blogbeitrag auch die Funktionsweise des Trainings.

Die Regeln für Capture the Flag sind eigentlich recht einfach: Zwei Teams müssen die Flagge des gegnerischen Teams aufnehmen und in die eigene Basis bringen. Jedes Team kann aus einer unterschiedlichen Anzahl an Spielern bestehen, die aber nicht jeder für sich agieren sollte, sondern die zusammenarbeiten. Es geht darum die eigenen Flagge zu verteidigen, aber auch koordiniert anzugreifen. Dabei ändern sich auch die Voraussetzungen in Form der Maps auf denen gespielt wird. Je nachdem wie diese aufgebaut sind, muss sich das Verhalten der künstlichen Intelligenz auch ändern.

Für das Training verwendete DeepMind folgende Ideen:

  • anstatt einzelne Intelligenzen zu trainieren, lernten mehrere sogenannte Agents gemeinsam
  • jeder Agent besitzt aber eigene Ziele für das Training, zum Beispiel die Flagge des Gegners zu erobern oder aber die eigene zu verteidigen.
  • das Training der Agents findet ausschließlich auf Basis eigener Erkenntnisse statt. Es wurden ihnen kein Verhalten vorprogrammiert.
  • in einem zweiten Schritt spielen Agents in Teams gegeneinander, lernen aber auch aus Spielen gegen menschliche Spieler. Die menschlichen Spieler sind dabei Gegner, können aber auch Mitspieler sein.

Nach etwas mehr als 150.000 Matches ist der trainierte Agent bereits besser als der beste menschliche Spieler. Dabei wurde den Agents aber eine künstliche Verzögerung und Ungenauigkeit beigebracht, damit der Vergleich gegen menschliche Spieler überhaupt fair gestaltet werden kann.

Während des Trainings mit menschlichen Spielern zeigte sich auch, dass die Agents sich ein entsprechendes Verhältnis aneignen. So belagern sie die eigene oder die Basis des Gegners oder beginnen damit, bestimmten Teammitgliedern zu folgen. Es stellt sich ein gewisses taktisches Verständnis ein – je nach Spielsituation, jeweiliger Karte und dem Verhalten der Mitspieler sowie Gegner.

Die Entwicklung eines For The Win (FTW) Agents in Quake III Arena Capture the Flag ist ein weiterer Schritt für ML-Systeme die mehr sind als nur eine Bibliothek an Spielzügen. Die AI eignet sich die Regeln selbst an, arbeitet mit weiteren Intelligenzen zusammen und bekommt ein taktisches Verständnis für das Vorgehen des Gegners und des eigenen Teams. Dies ist ein fundamentaler Unterschied zu den bisherigen Systemen in Starcraft II, Dota 2 oder den besagten Brettspielen.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (1)

#1
Registriert seit: 10.01.2015

Oberbootsmann
Beiträge: 949
Skynet auf Probe...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • TomsHardware.de muss seine Pforten schließen (Update)

    Logo von IMAGES/STORIES/2017/THG

    Eine der bekanntesten deutschen IT-Seiten TomsHardware.de wird abgeschaltet. Damit geht eine Ära zu Ende, denn die 1996 noch unter einem anderen Namen gestartete Webseite gehört sicherlich zu den Größen in diesem Bereich. Der genaue Termin für die Abschaltung der Server steht noch nicht... [mehr]

  • Interstellar: Hunderte CPUs berechnen schwarzes Loch

    Logo von IMAGES/STORIES/2017/SCHWARZES-LOCH

    Der Film Interstellar aus dem Jahre 2014 zeichnete sich vor allem durch eine möglichst realistische Darstellung und Simulation eines schwarzen Loches aus. Christopher und Jonathan Nolan schrieben das Drehbuch und zeichneten sich auch für die filmische Umsetzung verantwortlich. Der... [mehr]

  • Ende des Mining-Booms: Absätze bei den Grafikkarten brechen um bis zu 80 % ein...

    Logo von IMAGES/STORIES/2017/BITCOIN

    Investoren und Analysten mahnen seit Monaten vor einem Einbruch am Grafikkarten-Markt, doch bisher hat sich dies in den Absatz- und Umsatzzahlen der Hersteller noch nicht wirklich gezeigt. Nun mehren sich aber die Zeichen aus Asien, dass es ab März/April einen erheblich Einbruch bei den... [mehr]

  • NVIDIA intern: Begehrtestes Produkt ist ein Lineal

    Logo von IMAGES/STORIES/2017/NVIDIA

    Zwischen den Jahren einmal etwas Kurioses: Größere Unternehmen bieten ihren Mitarbeitern oftmals in internen Shops bestimmte Produkte an. T-Shirt und Kaffeetasse sind hier nur die einfachsten Beispiele. NVIDIA verkauft alle eigenen Produkte natürlich auch an die eigenen Mitarbeiter. Dazu... [mehr]

  • Vodafone schaltet erste Gigabit-Anschlüsse über Kabel für 20 Euro

    Logo von IMAGES/STORIES/2017/VODAFONE_LOGO

    Vodafone versorgt ab sofort die ersten Kunden mit einer Geschwindigkeit von bis zu 1 Gbit/s. Das Unternehmen hat hierfür stellenweise sein Kabelnetz auf DOCSIS 3.1 umgerüstet und kann aktuell 400.000 Haushalte mit der schnellen Geschwindigkeit versorgen. Zu den ersten Städten mit der schnellen... [mehr]

  • NVIDIA stellt das GeForce Partner Programm ein

    Logo von IMAGES/STORIES/2017/NVIDIA

    Das NVIDIA GeForce Partner Programm oder kurz GPP sollte Anreize für Boardpartner und letztendlich auch den Käufer einer Grafikkarte schaffen. Doch ein möglicher unerlaubter Wettbewerbsvorteil warf ein eher schlechtes Licht auf das Programm. Nun hat NVIDIA das Programm offiziell eingestellt. Als... [mehr]