1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Software
  6. >
  7. Anwendungen
  8. >
  9. NVIDIA GTC21: GANverse3D macht aus 2D-Bildern ein 3D-Modell

NVIDIA GTC21: GANverse3D macht aus 2D-Bildern ein 3D-Modell

Veröffentlicht am: von

nvidia-gtcDie Entwicklungsabteilung von NVIDIA arbeitet in vielerlei Richtung an neuen Software-Entwicklungen. Daraus entstand beispielsweise Omniverse, eine 3D-Entwicklungsplattform, die alle aktuell verwendete Middleware zusammenfassen und eine hardwareunabhängige Plattform sein soll, die sich in die Cloud auslagern lässt. Großer Vorteil ist aber die Interoperabilität zwischen der unterschiedlichsten 3D-Software.

Aus dem Entwicklerbüro im kanadischen Toronto stammt nun GANverse3D – eine Software, die aus einem einfachen 2D-Bild ein 3D-Modell machen kann. Um einen Datensatz für das Training zu generieren, nutzten die Forscher ein Generative Adversarial Network (GAN), um Bilder zu synthetisieren, die dasselbe Objekt aus verschiedenen Blickwinkeln zeigen. Ein Beispiel ist ein Fahrzeug, von dem Fotos aus verschiedenen Winkeln gemacht werden. Diese Multi-View-Bilder wurden in ein Rendering-Framework überführt, welches das 3D-Gittermodelle aus 2D-Bildern ableitet.

Trainiert wurde ein neuronales Netzwerk auf Basis von StyleGAN. Als Datensatz verwendet wurden 5,7 Millionen Fotos von Fahrzeugen, 2 Millionen Fotos von Pferden und 48.000 Fotos von Vögeln. Allerdings konnten nicht alle Fotos für das Training verwendet werden. Letztendlich übriggeblieben sind 55.429 Autos, 16.392 Pferde und 7.948 Vögel. Das Deep-Learning-Netzwerk wurde mit 200.000 Iterationen und einer Batch Size von 16 trainiert. Das Training dauerte 120 Stunden auf vier Tesla V100. Um die Ergebnisse zu verbessern, wurden weitere Trainings-Schritte durchgeführt.

Die Ergebnisse sehen wie in der Galerie dargestellt aus. Aus einem 2D-Foto wird ein 3D-Modell. Neben dem 3D-Modell werden die dazugehörigen Texturen generiert. Zudem erkennt das System die einzelnen Komponenten eines Fahrzeugs – sprich Türen, Dach, Räder, Motorhaube, Kofferraum, etc. pp. Daraus lassen sich dann Funktionen ableiten, wie das Drehen der Räder oder das Öffnen von Türen.

Das Modell muss natürlich noch weiter verbessert werden, bis die 3D-Daten ausreichend gut sind, um produktiv eingesetzt zu werden. NVIDIA sieht das Einsatzgebiet später bei Architekten, 3D-Designern und Spieleentwicklern, die ansonsten auf ein Fotogrametrieverfahren zurückgreifen, oder die Objekte komplett ohne Vorlage entstehen lassen. Je nach Komplexität des Objekts kann es mehrere Stunden bis Tage dauern, bis ein solches Objekt im 3D-Mesh und mit Texturen erstellt ist. GANverse3D macht aus einem 2D-Foto innerhalb von wenigen Millisekunden ein fertiges 3D-Modell. Allerdings ist die Qualität wie oben abgebildet noch nicht ausreichend gut für diese Anwendungsbereiche.

Dies will NVIDIA in Zukunft verbessern. Unter anderem sind dazu bessere Trainingsdaten notwenig. Vor allem die 3D-Modelle der Pferde und Vögel sind noch recht grobschlächtig. Dies liegt daran, dass es zwar viele Fotos aus seitlichen Blickwinkeln auf diese Objekte gibt, aber kaum solche von oben oder unten. Aus diesem Grund kann das neuronale Netzwerk nicht wirklich lernen, wie diese Objekten aus diesen Blickwinkeln aussehen. Über ein Training mit weiteren Datensätzen, vor allem einer Feedback-Schleife, die dem Netzwerk aufzeigt, wo es noch Verbesserungsbedarf gibt, soll GANverse3D sukzessive optimiert werden.

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Social Links

Das könnte Sie auch interessieren:

  • NZXT CAM Controller und Software ausprobiert

    Logo von IMAGES/STORIES/2017/PREVIEW_NZXT_CAM

    Der Computer wird in der heutigen Zeit immer mehr zu einem Designobjekt, welches durch eine auffällige Beleuchtung oder durch interessante Hardware in einem noch auffälligeren Gehäuse in Szene gesetzt wird. Vorbei sind die Zeiten von Kaltlichtkathoden oder einfarbigen Beleuchtungen. Wie gut dies... [mehr]

  • Marbles RTX: NVIDIA zeigt beeindruckende RTX-Demo

    Logo von IMAGES/STORIES/2017/MARBLES-RTX

    Zusammen mit der Ampere-Mikroarchitektur präsentierte NVIDIA auf der GPU Technology Conference eine beeindruckende Grafikdemo, welche die Möglichkeiten der Technik unter Beweis stellen soll. Allerdings bezieht man sich dabei eher auf die aktuelle Turing-Architektur als auf Ampere, denn... [mehr]

  • Premiere Pro mit NVENC: Videos rendern in 20 % der Zeit

    Logo von IMAGES/STORIES/2017/ADOBE_LOGO_100

    Mit der Version 14.2 für Premiere Pro und den Media Encoder hat Adobe eine neue Hardwarebeschleunigung hinzugefügt. Im Export werden H.264 und H.265 (HEVC) über die verbaute GPU beschleunigt. Grundsätzlich unterstützt wird dies auf allen Plattformen und diversen GPU-Modellen von AMD... [mehr]

  • So wird die Benutzeroberfläche der Corona-Warn-App aussehen (Update)

    Logo von IMAGES/STORIES/2017/CORONA-WARN-APP

    Offenbar haben SAP und die Deutsche Telekom eine weitere Hürde zur Fertigstellung der Corona-Warn-App genommen. Auf dem GitHub Repository wurden nun die ersten Screenhots der Benutzeroberfläche gezeigt und auch das Backend wurde als Quellcode veröffentlicht. Derzeit planen die Entwickler,... [mehr]

  • Für AMD Ryzen: ZenTimings zeigt DRAM-Timings und Takt-Domains an

    Logo von IMAGES/STORIES/2017/ZENTIMINGS

    Das Zusammenspiel aus Ryzen-Prozessor und DRAM-Einstellungen hat weiterhin eine große Bedeutung, denn mit den richtigen Einstellungen kann die Leistung der Prozessoren von AMD deutlich nach oben geschraubt werden. Dazu muss man die richtigen Einstellungen kennen. Programme wie der DRAM... [mehr]

  • AMD zeigt schicke Renderings des Mercedes-AMG F1 W11 EQ Performance

    Logo von IMAGES/STORIES/2017/AMD_LOGO

    AMD ist einer der Sponsoren des Weltmeister-Teams Mercedes-AMG Petronas in der Formel 1. Die technische Unterstützung im Bereich des Sponsorings bezieht sich auf Ressourcen für Supercomputing-, Simulations-, PC- und Data-Center-Hardware. Aber nicht nur aus technischer Sicht ist eine potentiell... [mehr]