> > > > NVIDIA will 3D-Welten durch AI erzeugen lassen

NVIDIA will 3D-Welten durch AI erzeugen lassen

Veröffentlicht am: von

nvidiaDer Begriff prozeduales Leveldesign ist vielen sicherlich von Spielen wie No Man's Sky und Star Citizen bekannt. Dahinter verbirgt sich die prozedurale Synthese oder prozedurale Generierung von Inhalten wie Texturen, 3D-Objekten und Musik in einem vom Entwickler gesteckten Rahmen, um nicht eine zu 100 % vordefinierte Welt anfertigen zu müssen. Im Falle der beiden Weltraum-Abenteuer ist es nur so möglich hundert oder gar tausenden Welten zugänglich zu machen.

Doch die Generierung einer 3D-Welt soll und kann sich durchaus an der Realität orientieren, ohne dabei in jedem Detail bereits vordefiniert (pre-backed) zu sein. Wissenschaftler des MIT und von NVIDIA haben ein wissenschaftliches Papier veröffentlicht, welches sich genau diesem Thema widmet.

Ziel des Projektes ist es, eine interaktive 3D-Welt aus realen Daten zu erstellen. Dazu wird ein Deep-Learning-Netzwerk mittels einiger Videos trainiert. Für eine virtuelle Umgebung essentielle Objekte wie Gebäude, Bäume, Fahrzeuge und vieles mehr sollen anhand der Videodaten in der 3D-Welt automatisch erstellt werden. Dies umfasst das 3D-Modell und auch die notwendigen Texturen. Später sollen sich diese Daten noch bearbeiten lassen, falls es notwendig sein sollte.

Am Ende soll eine vollständige 3D-Welt entstehen, die alle Objekte enthält, die auf den Videos zu sehen sind. Letztendlich sollen sich damit schnell und einfach virtuelle Abbilder realer Umgebungen erzeugen lassen. Beispiele wäre das virtuelle Los Angeles in GTA V oder das New York des aktuellen Spider-Man-Game, aber auch das Erstellen möglichst realistischer virtueller Nachbauten von Rennstrecken für Rennspiele. Neben der Spielebranche sieht NVIDIA das Einsatzgebiet der Technik aber auch im Automotiv-Bereich bzw. der Erstellung von 3D-Karten und für Anwendungen in der Architektur. Überall dort, wo die reale Umgebung in eine virtuelle Welt überführt werden soll, was bisher manuell geschieht, kann die Methode angewendet werden.

Das Training des Deep-Learning-Netwerks erfolgt auf leistungsstarken Systemen wie dem DGX-1 mit bis zu acht Tesla V100. Das Inferencing der 3D-Welt soll dann aber auf lokaler Hardware erfolgen. Die Volta- und Turing-Architektur besitzt die dazu notwendigen Tensor Cores, in denen das Inferencing in Echtzeit ausgeführt werden kann. Diese Methodik ist grundsätzlich mit der DLSS-Technik zu vergleichen. Auch hier wird ein bereits trainiertes Netzwerk über die Tensor Cores verarbeitet. Die von NVIDIA gezeigte Demo wurde auf einer Titan V auf Basis der Volta-Architektur ausgeführt. Das Training fand wie gesagt auf leistungsstärkerer Hardware statt.

Die Technik der Video-zu-Video-Synthese befindet sich in einem recht frühen Stadium. Derzeit ist man noch etwas davon entfernt damit vollständige 3D-Welten zu erstellen. Man wird aber sicherlich mit den erwähnten Branchen zusammenarbeiten, um eventuelle Einsatzgebiete auszuloten.

Social Links

Kommentare (0)

Diskutiert das Thema in unserem Forum:
NVIDIA will 3D-Welten durch AI erzeugen lassen

Das könnte Sie auch interessieren:

  • Erste Ray-Tracing-Benchmarks: Battlefield V mit DXR im Test (2. Update)

    Logo von IMAGES/STORIES/2017/BATTLEFIELDV

    Pünktlich zum morgigen offiziellen Start von Battlefield V haben EA und DICE einen Patch veröffentlicht, der auch die DXR-Funktionen aktiviert. Damit können die NVIDIA-Grafikkarten mit RTX-Unterstützung alias GeForce-RTX in den drei Modellen GeForce RTX 2070, GeForce RTX 2080 und GeForce RTX... [mehr]

  • GPU-Benchmarks zur finalen Version von Battlefield V

    Logo von IMAGES/STORIES/2017/BATTLEFIELDV

    Ab diesem Wochenende können Abonnenten des Origin Access Premier auf dem PC bereits Battlefield V spielen. Der Titel begleitet uns bereits seit dem Juni, denn schon zur Closed Alpha haben wir einige Benchmarks gemacht. Darauf folgte eine Open Beta mit neuen Erkenntnissen und auch einen... [mehr]

  • Diablo 3: Season 16 startet am Freitag

    Logo von IMAGES/STORIES/2017/DIABLO3_2

    Die 16. Saison von Diablo 3 steht in den Startlöchern und beginnt am 18. Januar 2019 pünktlich um 17:00 Uhr deutscher Zeit. Das geplante Ende der “Saison des Prunks” ist laut Blizzard der 17. März, ebenfalls um 17:00 Uhr. Dies kann sich aber nach Aussagen des US-amerikanischen... [mehr]

  • Quake 2 vollständig per Ray Tracing berechnet

    Logo von IMAGES/STORIES/2017/RAY-TRACING

    NVIDIA hat mit der RTX-Technik einen erneuten Vorstoß hin zu per Ray Tracing berechneten Grafikeffekten gemacht. Man kann zu den Hardwareanforderungen der Reflexionseffekte in Battlefield V eine eigene Meinung haben, die Optik aber setzt neue Maßstäbe. Alle weiteren Details zu Ray Tracing in... [mehr]

  • Metro: Exodus mit RTX und DLSS im Technik-Check

    Logo von IMAGES/STORIES/2017/METRO-EXODUS

    Heute ist es nun soweit und das erste Spiel mit der Unterstützung von RTX und DLSS startet. Auf die spielerischen Aspekte von Metro Exodus wollen wir nicht genauer eingehen. Stattdessen konzentrieren wir uns auf die Technik. Per RTX soll die Beleuchtung in Metro: Exodus realistischer denn je... [mehr]

  • The Division 2 im Grafikkarten-Test

    Logo von IMAGES/STORIES/2017/THEDIVISION2

    Ab heute werden sich alle Vorbesteller und Käufer von The Division 2 auf das Spiel stürzen können und für uns bietet sich damit natürlich auch die Gelegenheit zum Start mit einigen Benchmarks aufwarten zu können. Wir haben uns also einige aktuelle Grafikkarten aus dem Hause AMD und... [mehr]