1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Hardware
  6. >
  7. Grafikkarten
  8. >
  9. NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

Veröffentlicht am: von

nvidiaFür die Bildoptimierung hat NVIDIA bereits mehrfach Techniken vorgestellt, bei denen fehlende Inhalt oder Details per Machine-Learning ermittelt und in das Bild integriert werden können. Für Ray-Tracing-Anwendungen ist ein sogenanntes Denoising bereits seit dem Frühjahr 2017 im Einsatz – und wird für ein Ray-Tracing mit RTX in Echtzeit ausgeführt. Damit reduziert NVIDIA den Rechenaufwand für die Hardware. Die noch ausstehenden Bereiche der Berechnung werden durch ein Rauschen dargestellt. Da der Renderer aber nicht weiß, welche Objekte einer Szene am wichtigsten sind, berechnet er die Rays einfach in einer für ihn logischen Reihenfolge. Um die Wartezeit auf das fertige Bild zu reduzieren und das Rauschen schneller entfernen zu können, errechnen Deep-Learning-Algorithmen die wichtigen Bereiche des Bildes und berechnen diese schneller.

Für Slow-Motion-Aufnahmen gibt es mehrere Herausforderungen. Erstens muss die Kamera die gewünschten FPS auch liefern können. Bei kurzen Belichtungszeiten müssen Sensor und Optik möglichst lichtstark sein bzw. die Szene muss stark ausgeleuchtet werden. Zuletzt müssen die Daten, die vom Sensor aufgenommen werden, auch schnell gespeichert werden. All dies sind keine trivialen Aufgaben.

Eine Forschergruppe bei NVIDIA hat nun eine Technik entwickelt, bei der ein Deep-Learning-Algorithmus ein Video mit 30 FPS in eine Slow-Motion-Aufnahme mit 240 FPS verwandelt. Der Algorithmus vergleicht dazu zwei aufeinanderfolgende Frames und berechnet die Bewegung der Objekte. Aus dieser Erkenntnis wird ein Zwischenbild interpoliert.

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Der Algorithmus muss zunächst aber antrainiert werden. So kann eine Flüssigkeit in Zeitlupe erst simuliert werden, wenn das System mit entsprechenden Slow-Motion-Aufnahmen trainiert wurde. Gleiches gilt für die schnelle Durchfahrt eines Autos durch eine Wasserpfütze. Auch dies muss dem Algorithmus zunächst mit einer reellen Slow-Motion-Aufnahmen gezeigt werden, bevor dieser weiß, was bei einer Simulation zu tun ist.

Das Team von NVIDIA hat ein PyTorch Deep-Learning-Netzwerk mit 11.000 Videos verschiedener Slow-Motion-Aufnahmen trainiert. Damit sollen die wichtigsten Aufgabenfelder für solche Aufnahmen abgedeckt sein.

Denkbar wäre der Einsatz eines solchen Algorithmus in Smartphones. Diese können in einigen Fällen bereits mit 960 FPS aufnehmen, dann aber muss die notwendige Lichtstärke vorhanden sein und auch die Auflösung wird reduziert. All dies ist mit dem Algorithmus nicht mehr notwendig. Die notwendigen Berechnungen könnten in der Cloud ausgeführt werden, das aufgenommene Video wird dazu hochgeladen.

Allerdings kann der Algorithmus nicht beliebig viele Frames interpolieren. Aus 30 240 FPS zu machen sei noch möglich, darüber hinaus kommt die Technik aber an ihre Grenzen. Aufnahmen mit 120 oder 240 FPS lassen sich aber um den gleichen Faktor "verlangsamen".

Welche ist die beste Grafikkarte (GPU)?

Unsere Kaufberatung zu den aktuellen NVIDIA- und AMD-Grafikkarten hilft dabei, die Übersicht nicht zu verlieren. Dort zeigen wir, welche Grafikkarten aktuell die beste Wahl darstellen – egal, ob es um die reine Leistungsfähigkeit oder das Preis-Leistungs-Verhältnis geht.


Social Links

Das könnte Sie auch interessieren:

  • Sapphire Nitro+ Radeon RX 5700 XT 8G im Test

    Logo von IMAGES/STORIES/2017/SAPPHIRE-NITRO-RADEONRX5700XT

    Der erste Schwung der Custom-Modelle für die Navi-Karten von AMD ist verfügbar. Aber noch längst nicht alle der wichtigsten Modelle haben wir uns angeschaut. Die Sapphire Nitro+ Radeon RX 5700 XT ist laut diverser Empfehlungen eine dieser Varianten, auf die man einen genauen Blick... [mehr]

  • NVIDIA dreht an der Ampere-Schraube: Die GeForce RTX 3080 Founders Edition im...

    Logo von IMAGES/STORIES/2017/GEFORCE-RTX-3080

    Heute ist es endlich soweit. Mit der GeForce RTX 3080 in der Founders Edition schauen wir uns die erste Karte der neuen Ampere-Generation an. Die wichtigsten Details zur Architektur haben wir bereits behandelt und in der vergangenen Woche konnten wir euch die ersten Fotos der GeForce RTX 3080... [mehr]

  • Bandbreiten-Test: Was der Umstieg auf PCIe 4.0 bringt

    Logo von IMAGES/STORIES/2017/AMD_RX5500XT_PCI3VS4-TEASER

    Gegenüber dem 3.0-Standard verdoppelt PCI Express 4.0 die maximal mögliche Bandbreite auf bis zu 32 GB/s. Aktuell kann der neue Standard jedoch nur in Verbindung mit einem Ryzen-Prozessor auf Zen-2-Basis sowie einer Navi-Grafikkarte und einem X570-Mainboard genutzt werden – wenn man von... [mehr]

  • Erstes Custom-Modell: Gigabyte GeForce RTX 3080 Eagle OC 10G im Test

    Logo von IMAGES/STORIES/2017/GIGABYTE-GEFORCE-RTX-3080-EAGLE-OC

    Nach dem gestrigen Test der GeForce RTX 3080 Founders Edition von NVIDIA können wir heute den ersten Test eines Custom-Modells präsentieren. Die GeForce RTX 3080 Eagle OC 10G von Gigabyte ist dabei eines von vier Modellen des taiwanesischen Herstellers und bewegt sich etwas unterhalb der... [mehr]

  • Verdammt leise unter Last: MSI GeForce RTX 3080 Gaming X Trio 10G im Test

    Logo von IMAGES/STORIES/2017/MSI-GEFORCE-RTX-3080-GAMING-TRIO

    Nach und nach erreichen uns weitere Partner-Karten der GeForce RTX 3080. Heute im Test sehen wir die MSI GeForce RTX 3080 Gaming X Trio 10G. Um sich von der Founders Edition abzusetzen, bleibt den Herstellern ein kleines Leistungsplus sowie eine effektivere Kühlung. Da aber auch NVIDIA hier... [mehr]

  • Endlich wieder ein Duell auf Augenhöhe: Radeon RX 6800 und Radeon RX 6800 XT...

    Logo von IMAGES/STORIES/2017/RADEON-6800

    Heute ist es endlich so weit! Die vor wenigen Wochen vorgestellte Radeon-RX-6800-Serie macht mit zwei Big-Navi-Modellen den Anfang. Wir schauen uns also die Referenzversionen der Radeon RX 6800 und Radeon RX 6800 XT an. Damit werden wir nach dem Test auch wissen, ob AMD die eigenen Versprechen... [mehr]