> > > > NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

Veröffentlicht am: von

nvidiaFür die Bildoptimierung hat NVIDIA bereits mehrfach Techniken vorgestellt, bei denen fehlende Inhalt oder Details per Machine-Learning ermittelt und in das Bild integriert werden können. Für Ray-Tracing-Anwendungen ist ein sogenanntes Denoising bereits seit dem Frühjahr 2017 im Einsatz – und wird für ein Ray-Tracing mit RTX in Echtzeit ausgeführt. Damit reduziert NVIDIA den Rechenaufwand für die Hardware. Die noch ausstehenden Bereiche der Berechnung werden durch ein Rauschen dargestellt. Da der Renderer aber nicht weiß, welche Objekte einer Szene am wichtigsten sind, berechnet er die Rays einfach in einer für ihn logischen Reihenfolge. Um die Wartezeit auf das fertige Bild zu reduzieren und das Rauschen schneller entfernen zu können, errechnen Deep-Learning-Algorithmen die wichtigen Bereiche des Bildes und berechnen diese schneller.

Für Slow-Motion-Aufnahmen gibt es mehrere Herausforderungen. Erstens muss die Kamera die gewünschten FPS auch liefern können. Bei kurzen Belichtungszeiten müssen Sensor und Optik möglichst lichtstark sein bzw. die Szene muss stark ausgeleuchtet werden. Zuletzt müssen die Daten, die vom Sensor aufgenommen werden, auch schnell gespeichert werden. All dies sind keine trivialen Aufgaben.

Eine Forschergruppe bei NVIDIA hat nun eine Technik entwickelt, bei der ein Deep-Learning-Algorithmus ein Video mit 30 FPS in eine Slow-Motion-Aufnahme mit 240 FPS verwandelt. Der Algorithmus vergleicht dazu zwei aufeinanderfolgende Frames und berechnet die Bewegung der Objekte. Aus dieser Erkenntnis wird ein Zwischenbild interpoliert.

Der Algorithmus muss zunächst aber antrainiert werden. So kann eine Flüssigkeit in Zeitlupe erst simuliert werden, wenn das System mit entsprechenden Slow-Motion-Aufnahmen trainiert wurde. Gleiches gilt für die schnelle Durchfahrt eines Autos durch eine Wasserpfütze. Auch dies muss dem Algorithmus zunächst mit einer reellen Slow-Motion-Aufnahmen gezeigt werden, bevor dieser weiß, was bei einer Simulation zu tun ist.

Das Team von NVIDIA hat ein PyTorch Deep-Learning-Netzwerk mit 11.000 Videos verschiedener Slow-Motion-Aufnahmen trainiert. Damit sollen die wichtigsten Aufgabenfelder für solche Aufnahmen abgedeckt sein.

Denkbar wäre der Einsatz eines solchen Algorithmus in Smartphones. Diese können in einigen Fällen bereits mit 960 FPS aufnehmen, dann aber muss die notwendige Lichtstärke vorhanden sein und auch die Auflösung wird reduziert. All dies ist mit dem Algorithmus nicht mehr notwendig. Die notwendigen Berechnungen könnten in der Cloud ausgeführt werden, das aufgenommene Video wird dazu hochgeladen.

Allerdings kann der Algorithmus nicht beliebig viele Frames interpolieren. Aus 30 240 FPS zu machen sei noch möglich, darüber hinaus kommt die Technik aber an ihre Grenzen. Aufnahmen mit 120 oder 240 FPS lassen sich aber um den gleichen Faktor "verlangsamen".

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (10)

#1
customavatars/avatar184350_1.gif
Registriert seit: 10.12.2012

Stabsgefreiter
Beiträge: 356
Sehr geil!
Falls in Zukunft solche Techniken in Software für zu Hause erhältlich wären :))
#2
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 17213
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?
#3
customavatars/avatar191989_1.gif
Registriert seit: 12.05.2013

Vizeadmiral
Beiträge: 7625
Zitat Performer;26370957
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?


Inputlag.
#4
customavatars/avatar201451_1.gif
Registriert seit: 03.01.2014
Niederösterreich
Korvettenkapitän
Beiträge: 2100
Zitat Performer;26370957
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?


Eben, du sagst es, jeder Monitor könnte das auch, mit entsprechender Elektronik.

Hast du es aber schon mal am TV probiert? Mal abgesehen vom katastrophalen Inputlag (der aber größtenteils vermeidbar wäre), sieht das Bild verwaschen und unscharf aus in schnellen Bewegungen.
Probiers doch mal aus bei einem Spiel.

Das was Nvidia hier macht ist was ganz anderes, und kostet vermutlich weit mehr Rechenleistung, als die Differenz von 60 zu 120FPS.
Hier wird quasi aus vergangenen Bildern erdacht, wie das nächste Bild ausschauen könnte. (Weil es in der Vergangenheit ähnliche Bildabfolgen gab, aus denen die Infos gezogen werden können).
Dieser ständige Abgleich ist mit enormer Rechenleistung verbunden. Mal abgesehen von der "Datenbank" dies dazu braucht, um die AI zu füttern.

Der TV hingegen errechnet einfach nur Zwischenbilder aus den vorhandenen Pixeln, in dem er Zwischenbilder aus Farb-Mittelwerten erzeugt. Maximal werden noch Kontrastkanten und ähnliches berücksichtigt, um kein extrem verwaschenes Bild zu bekommen.
#5
Registriert seit: 29.02.2012

Korvettenkapitän
Beiträge: 2207
Zwischenbilder aus Farbmittelwerten? Was soll das konkret bedeuten. Man nutzt dafür Vektoren. Befindet sich z. B ein Ball im ersten Bild auf X1 und Y2 und im zweiten Bild X1 und Y6 dann wird im generierten Zwischenbild der Ball auf X1 Y4 angezeigt. Die Oculus Rift nutzt ein ähnliches Verfahren namens Asynchronous Space Warp. Nur wird das nächste Bild direkt extrapoliert anstatt es aus dem aktuellen und folgenden als Zwischenbild zu interpolieten. Dann reichen auch 45 fps aus um 90 fps im HMD angezeigt zu bekommen. Fehlerfrei ist das jedoch nicht aber deutlich angenehmer als eine schwankende Fps Rate unter 90

Gesendet von meinem HTC One_M8 mit Tapatalk
#6
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 17213
Zitat gogoAustria;26371031
Hast du es aber schon mal am TV probiert?

Ja, mit 60FPS als Basis kann man voll aufdrehen also 120FPS sind kein Problem bei schnellen Bewegungen und Philips schafft es mit "nur" 50ms Input Lag also gut spielbar.
Das Alles mit simpler Bildelektronik im TV die vermutlich keine 50€ kostet also wenn man da etwas stärkere Hardware nutzt kann man es bestimmt noch etwas verbessern.
Wenn man bedenkt welche Rechenleistung "echte" extra 60FPS in UHD/4K kosten dann könnte man sogar von einer Verschwendung von Ressourcen und Energie sprechen.
#7
Registriert seit: 01.08.2017
ganz im Westen
Leutnant zur See
Beiträge: 1186
Ist hier vor ein paar Monaten nicht noch dir Frage aufgekommen, was man mit AI Hardware überhaupt alltagstaugliches machen könne? :confused:
#8
customavatars/avatar191989_1.gif
Registriert seit: 12.05.2013

Vizeadmiral
Beiträge: 7625
Zitat Performer;26371599
Ja, mit 60FPS als Basis kann man voll aufdrehen also 120FPS sind kein Problem bei schnellen Bewegungen und Philips schafft es mit "nur" 50ms Input Lag also gut spielbar.
Das Alles mit simpler Bildelektronik im TV die vermutlich keine 50€ kostet also wenn man da etwas stärkere Hardware nutzt kann man es bestimmt noch etwas verbessern.
Wenn man bedenkt welche Rechenleistung "echte" extra 60FPS in UHD/4K kosten dann könnte man sogar von einer Verschwendung von Ressourcen und Energie sprechen.


Das zweite Hauptproblem nach Inputlag die Verschwommenheit hast du jetzt etwas untergehen lassen.
Den Inputlag kannst du mit Rechenleistung besiegen, gegen die Verschwommenheit kommst du nicht an.
#9
Registriert seit: 29.02.2012

Korvettenkapitän
Beiträge: 2207
Welche Verschwommenheit? Im TV Sektor nutzt man die Framesinterpolation um die Sample Hold bedingte Bewegungsunschärfe zu verringern. Fazit.: Die Bewegtbildschärfe steigt durch Die Interpolation an

Gesendet von meinem SM-G920F mit Tapatalk
#10
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 17213
Er mein vermutlich die Artefakte bei sehr schnellen Bewegungen wenn die Basis z.B. nur 30FPS ist. Dann kann man die Zwischenbildberechnung aber halbieren was ca. 60FPS entspricht.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • Die GeForce RTX 2080 Ti und RTX 2080 Founders Edition im Test

    Logo von IMAGES/STORIES/2017/GEFORCERTX2080

    Heute nun ist es endlich soweit und wir präsentieren die vollständigen Leistungsdaten und Messwerte zu den beiden ersten Karten der GeForce-RTX-20-Serie von NVIDIA. Nach der Vorstellung der Pascal-Architektur im Mai 2016 sind die neuen Karten für NVIDIA in vielerlei Hinsicht ein... [mehr]

  • Kleiner Turing-Ausbau: Gigabyte GeForce RTX 2070 WindForce 8G im Test

    Logo von IMAGES/STORIES/2017/GIGABYTE-RTX2070-WINDFORCE-LOGO

    Gestern war es soweit und mit der GeForce RTX 2070 startet die vorerst "kleinste" GeForce-RTX-Karte der neuen Serie von NVIDIA. Mit der Gigabyte GeForce RTX 2070 Windforce 8G haben wir ein Partnermodell im Test, denn die Founders Edition ist bislang noch nicht verfügbar. Erwartet wird die GeForce... [mehr]

  • PowerColor Radeon RX Vega 56 Red Devil im Test

    Heute wollen wir unsere Artikelübersicht zu den Custom-Modellen der Radeon RX Vega abrunden, denn mit der PowerColor Radeon RX Vega 56 Red Devil steht uns das Modell eines weiteren AMD-Exklusivpartners zur Verfügung. Das erste Mal haben wir nun auch die Gelegenheit uns eine solche Variante auf... [mehr]

  • Die GeForce RTX 2080 Ti leidet offenbar an erhöhter Ausfallrate (6. Update)

    Logo von IMAGES/STORIES/2017/GEFORCERTX2080TI

    Reddit und diverse Foren laufen heiß, denn seit einigen Tagen mehren sich die Berichte, nach denen es bei der GeForce RTX 2080 Ti zu einer erhöhten Ausfallrate kommt. Bestätigt ist dies bislang nicht, auch weil belastbare Zahlen fehlen und diese sicherlich nur durch NVIDIA selbst oder die... [mehr]

  • GeForce RTX 2080 Ti von ASUS und MSI im Test

    Logo von IMAGES/STORIES/2017/ASUS-STRIX-RTX2080TI-25_EBA36C79E22348199FB2B590657E5413

    Nach den ersten drei Modellen der GeForce RTX 2080 schauen wir uns nun zwei Custom-Varianten der GeForce RTX 2080 Ti an. Diese stammen aus dem Hause ASUS und MSI, unterscheiden sich äußerlich in einigen Aspekten natürlich, sind sich auf den zweiten Blick aber ähnlicher als man denken möchte.... [mehr]

  • ZOTAC Gaming GeForce RTX 2080 Ti AMP im Test

    Logo von IMAGES/STORIES/2017/ZOTAC-RTX1080TI

    Nach der Veröffentlichung und den ausführlichen Tests zur GeForce RTX 2080 Ti und GeForce RTX 2080 Founders Edition kommen wir nun zum ersten Test eines Custom-Modells. ZOTAC konnte uns die Gaming GeForce RTX 2080 Ti AMP bereits zum Start der neuen Generation zur Verfügung stellen, ein... [mehr]