> > > > DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

DeepMind AI lernt CTF-Teamplay und bekommt taktisches Verständnis

Veröffentlicht am: von

deepmindDie Google-Tochter DeepMind will Machine-Learning-Anwendungen in die verschiedensten Bereiche einbringen. Bereits seit einiger Zeit arbeitet man an ML-Netzwerken, die in Spielen ein taktisches Verständnis entwickeln sollen. Dabei gehen die Algorithmen einen Schritt weiter als Systeme, die in Brettspielen wie Schach oder Go schon längst auch die stärksten menschlichen Gegner schlagen.

Für Starcraft II und Dota 2 gibt es bereits entsprechende Entwicklungen, nun soll ein weitere Domäne des Esports fallen: Egoshooter. Dabei geht es nicht darum, dass ein Computer besser zielen oder schneller reagieren kann als ein menschlicher Gegner – dies ist bereits seit Jahrzehnten möglich (Stichwort Aimbot) – sondern es geht um eine taktisches Verständnis des Spiels zum Beispiel in Capture the Flag. Nun hat DeepMind den aktuellen Entwicklungsstand für Quake III Arena Capture the Flag vorgestellt und beschreibt in einem Blogbeitrag auch die Funktionsweise des Trainings.

Die Regeln für Capture the Flag sind eigentlich recht einfach: Zwei Teams müssen die Flagge des gegnerischen Teams aufnehmen und in die eigene Basis bringen. Jedes Team kann aus einer unterschiedlichen Anzahl an Spielern bestehen, die aber nicht jeder für sich agieren sollte, sondern die zusammenarbeiten. Es geht darum die eigenen Flagge zu verteidigen, aber auch koordiniert anzugreifen. Dabei ändern sich auch die Voraussetzungen in Form der Maps auf denen gespielt wird. Je nachdem wie diese aufgebaut sind, muss sich das Verhalten der künstlichen Intelligenz auch ändern.

Für das Training verwendete DeepMind folgende Ideen:

  • anstatt einzelne Intelligenzen zu trainieren, lernten mehrere sogenannte Agents gemeinsam
  • jeder Agent besitzt aber eigene Ziele für das Training, zum Beispiel die Flagge des Gegners zu erobern oder aber die eigene zu verteidigen.
  • das Training der Agents findet ausschließlich auf Basis eigener Erkenntnisse statt. Es wurden ihnen kein Verhalten vorprogrammiert.
  • in einem zweiten Schritt spielen Agents in Teams gegeneinander, lernen aber auch aus Spielen gegen menschliche Spieler. Die menschlichen Spieler sind dabei Gegner, können aber auch Mitspieler sein.

Nach etwas mehr als 150.000 Matches ist der trainierte Agent bereits besser als der beste menschliche Spieler. Dabei wurde den Agents aber eine künstliche Verzögerung und Ungenauigkeit beigebracht, damit der Vergleich gegen menschliche Spieler überhaupt fair gestaltet werden kann.

Während des Trainings mit menschlichen Spielern zeigte sich auch, dass die Agents sich ein entsprechendes Verhältnis aneignen. So belagern sie die eigene oder die Basis des Gegners oder beginnen damit, bestimmten Teammitgliedern zu folgen. Es stellt sich ein gewisses taktisches Verständnis ein – je nach Spielsituation, jeweiliger Karte und dem Verhalten der Mitspieler sowie Gegner.

Die Entwicklung eines For The Win (FTW) Agents in Quake III Arena Capture the Flag ist ein weiterer Schritt für ML-Systeme die mehr sind als nur eine Bibliothek an Spielzügen. Die AI eignet sich die Regeln selbst an, arbeitet mit weiteren Intelligenzen zusammen und bekommt ein taktisches Verständnis für das Vorgehen des Gegners und des eigenen Teams. Dies ist ein fundamentaler Unterschied zu den bisherigen Systemen in Starcraft II, Dota 2 oder den besagten Brettspielen.

Social Links

Kommentare (1)

Das könnte Sie auch interessieren:

  • Nach Share-Online ist nun auch Openload vom Netz

    Logo von IMAGES/STORIES/2017/OPENLOAD

    Verletzung von Urheberrechten sind kein Kavalierdelikt und das Verbreiten von geschütztem Material wird zum Teil mit hohen Strafen belegt. In den vergangenen Jahren haben vor allem Filehoster zur Verteilung von urheberrechtlich geschützten Inhalten beigetragen, doch mit Share-Online.biz konnte... [mehr]

  • Erste Verkaufspreise für AMDs nextGen-CPUs und -Mainboards aufgetaucht

    Logo von IMAGES/STORIES/2017/AMD-RYZEN

    Der dänische Online-Versandhändler Komplett.dk nennt knapp drei Wochen vor dem offiziellen Ryzen-3000-Release erste Preise zu AMDs nextGen-Prozessoren und zu X570-Mainboards. In der Vergangenheit wurde sehr viel über die preisliche Ausrichtung für die am 7. Juli 2019 erwarteten Zen-2-CPUs und... [mehr]

  • NVIDIA veröffentlicht geheimnisvollen Teaser zur Computex

    Logo von IMAGES/STORIES/2017/NVIDIA

    NVIDIA hat per Social Media auf Twitter und Facebook sowie auf YouTube einen 16-sekündigen Videoclip veröffentlicht, der mit "something super is coming ..." beschrieben ist. Weitere Details verrät das Unternehmen dazu bisher nicht. Das Video zeigt einen in Metall gefrästen... [mehr]

  • Bilder zeigen Vernichtung von Retouren im Amazon-Lager in Winsen

    Logo von IMAGES/STORIES/2017/AMAZON

    Seit einigen Monaten tauchen immer wieder Berichte auf, dass große Online-Händler zurückgeschickte Waren vernichten. Dies sei teilweise günstiger als den Zustand zu prüfen und die Produkte wieder zum Verkauf anzubieten. Laut dem neusten Bericht von Greenpeace soll vor allem Amazon große... [mehr]

  • ASUS Software Updates mit Malware verseucht (2. Update)

    Logo von IMAGES/STORIES/2017/ASUS_LOGO

    Bereits mehrfach hat sich gezeigt, dass Software einiger Systemhersteller nicht wirklich mit Fokus auf eine möglichst hohe Software-Sicherheit entwickelt wird. So gab es bereits mehrfach große Sicherheitslücken in Software von ASUS und Gigabyte. Offenbar gab es bei ASUS aber auch noch andere... [mehr]

  • Saturn und Mediamarkt feiern "Black Weekend"

    Logo von IMAGES/STORIES/2017/MEDIA_MARKT

    Seit Freitagmorgen ist auch im Mediamarkt bzw. im Saturn das große "Black Weekend" gestartet. Sowohl in den Märkten vor Ort als auch im Onlineshop erwartet die Schnäppchenjäger noch bis Sonntag, den 1. Dezember eine Vielzahl von reduzierten Artikeln.  Im Mediamarkt lässt sich unter... [mehr]