> > > > NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

Veröffentlicht am: von

nvidiaFür die Bildoptimierung hat NVIDIA bereits mehrfach Techniken vorgestellt, bei denen fehlende Inhalt oder Details per Machine-Learning ermittelt und in das Bild integriert werden können. Für Ray-Tracing-Anwendungen ist ein sogenanntes Denoising bereits seit dem Frühjahr 2017 im Einsatz – und wird für ein Ray-Tracing mit RTX in Echtzeit ausgeführt. Damit reduziert NVIDIA den Rechenaufwand für die Hardware. Die noch ausstehenden Bereiche der Berechnung werden durch ein Rauschen dargestellt. Da der Renderer aber nicht weiß, welche Objekte einer Szene am wichtigsten sind, berechnet er die Rays einfach in einer für ihn logischen Reihenfolge. Um die Wartezeit auf das fertige Bild zu reduzieren und das Rauschen schneller entfernen zu können, errechnen Deep-Learning-Algorithmen die wichtigen Bereiche des Bildes und berechnen diese schneller.

Für Slow-Motion-Aufnahmen gibt es mehrere Herausforderungen. Erstens muss die Kamera die gewünschten FPS auch liefern können. Bei kurzen Belichtungszeiten müssen Sensor und Optik möglichst lichtstark sein bzw. die Szene muss stark ausgeleuchtet werden. Zuletzt müssen die Daten, die vom Sensor aufgenommen werden, auch schnell gespeichert werden. All dies sind keine trivialen Aufgaben.

Eine Forschergruppe bei NVIDIA hat nun eine Technik entwickelt, bei der ein Deep-Learning-Algorithmus ein Video mit 30 FPS in eine Slow-Motion-Aufnahme mit 240 FPS verwandelt. Der Algorithmus vergleicht dazu zwei aufeinanderfolgende Frames und berechnet die Bewegung der Objekte. Aus dieser Erkenntnis wird ein Zwischenbild interpoliert.

Der Algorithmus muss zunächst aber antrainiert werden. So kann eine Flüssigkeit in Zeitlupe erst simuliert werden, wenn das System mit entsprechenden Slow-Motion-Aufnahmen trainiert wurde. Gleiches gilt für die schnelle Durchfahrt eines Autos durch eine Wasserpfütze. Auch dies muss dem Algorithmus zunächst mit einer reellen Slow-Motion-Aufnahmen gezeigt werden, bevor dieser weiß, was bei einer Simulation zu tun ist.

Das Team von NVIDIA hat ein PyTorch Deep-Learning-Netzwerk mit 11.000 Videos verschiedener Slow-Motion-Aufnahmen trainiert. Damit sollen die wichtigsten Aufgabenfelder für solche Aufnahmen abgedeckt sein.

Denkbar wäre der Einsatz eines solchen Algorithmus in Smartphones. Diese können in einigen Fällen bereits mit 960 FPS aufnehmen, dann aber muss die notwendige Lichtstärke vorhanden sein und auch die Auflösung wird reduziert. All dies ist mit dem Algorithmus nicht mehr notwendig. Die notwendigen Berechnungen könnten in der Cloud ausgeführt werden, das aufgenommene Video wird dazu hochgeladen.

Allerdings kann der Algorithmus nicht beliebig viele Frames interpolieren. Aus 30 240 FPS zu machen sei noch möglich, darüber hinaus kommt die Technik aber an ihre Grenzen. Aufnahmen mit 120 oder 240 FPS lassen sich aber um den gleichen Faktor "verlangsamen".

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (10)

#1
customavatars/avatar184350_1.gif
Registriert seit: 10.12.2012

Stabsgefreiter
Beiträge: 339
Sehr geil!
Falls in Zukunft solche Techniken in Software für zu Hause erhältlich wären :))
#2
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 16360
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?
#3
customavatars/avatar191989_1.gif
Registriert seit: 12.05.2013

Vizeadmiral
Beiträge: 7588
Zitat Performer;26370957
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?


Inputlag.
#4
customavatars/avatar201451_1.gif
Registriert seit: 03.01.2014
Niederösterreich
Korvettenkapitän
Beiträge: 2082
Zitat Performer;26370957
Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?


Eben, du sagst es, jeder Monitor könnte das auch, mit entsprechender Elektronik.

Hast du es aber schon mal am TV probiert? Mal abgesehen vom katastrophalen Inputlag (der aber größtenteils vermeidbar wäre), sieht das Bild verwaschen und unscharf aus in schnellen Bewegungen.
Probiers doch mal aus bei einem Spiel.

Das was Nvidia hier macht ist was ganz anderes, und kostet vermutlich weit mehr Rechenleistung, als die Differenz von 60 zu 120FPS.
Hier wird quasi aus vergangenen Bildern erdacht, wie das nächste Bild ausschauen könnte. (Weil es in der Vergangenheit ähnliche Bildabfolgen gab, aus denen die Infos gezogen werden können).
Dieser ständige Abgleich ist mit enormer Rechenleistung verbunden. Mal abgesehen von der "Datenbank" dies dazu braucht, um die AI zu füttern.

Der TV hingegen errechnet einfach nur Zwischenbilder aus den vorhandenen Pixeln, in dem er Zwischenbilder aus Farb-Mittelwerten erzeugt. Maximal werden noch Kontrastkanten und ähnliches berücksichtigt, um kein extrem verwaschenes Bild zu bekommen.
#5
Registriert seit: 29.02.2012

Korvettenkapitän
Beiträge: 2199
Zwischenbilder aus Farbmittelwerten? Was soll das konkret bedeuten. Man nutzt dafür Vektoren. Befindet sich z. B ein Ball im ersten Bild auf X1 und Y2 und im zweiten Bild X1 und Y6 dann wird im generierten Zwischenbild der Ball auf X1 Y4 angezeigt. Die Oculus Rift nutzt ein ähnliches Verfahren namens Asynchronous Space Warp. Nur wird das nächste Bild direkt extrapoliert anstatt es aus dem aktuellen und folgenden als Zwischenbild zu interpolieten. Dann reichen auch 45 fps aus um 90 fps im HMD angezeigt zu bekommen. Fehlerfrei ist das jedoch nicht aber deutlich angenehmer als eine schwankende Fps Rate unter 90

Gesendet von meinem HTC One_M8 mit Tapatalk
#6
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 16360
Zitat gogoAustria;26371031
Hast du es aber schon mal am TV probiert?

Ja, mit 60FPS als Basis kann man voll aufdrehen also 120FPS sind kein Problem bei schnellen Bewegungen und Philips schafft es mit "nur" 50ms Input Lag also gut spielbar.
Das Alles mit simpler Bildelektronik im TV die vermutlich keine 50€ kostet also wenn man da etwas stärkere Hardware nutzt kann man es bestimmt noch etwas verbessern.
Wenn man bedenkt welche Rechenleistung "echte" extra 60FPS in UHD/4K kosten dann könnte man sogar von einer Verschwendung von Ressourcen und Energie sprechen.
#7
Registriert seit: 01.08.2017
ganz im Westen
Leutnant zur See
Beiträge: 1099
Ist hier vor ein paar Monaten nicht noch dir Frage aufgekommen, was man mit AI Hardware überhaupt alltagstaugliches machen könne? :confused:
#8
customavatars/avatar191989_1.gif
Registriert seit: 12.05.2013

Vizeadmiral
Beiträge: 7588
Zitat Performer;26371599
Ja, mit 60FPS als Basis kann man voll aufdrehen also 120FPS sind kein Problem bei schnellen Bewegungen und Philips schafft es mit "nur" 50ms Input Lag also gut spielbar.
Das Alles mit simpler Bildelektronik im TV die vermutlich keine 50€ kostet also wenn man da etwas stärkere Hardware nutzt kann man es bestimmt noch etwas verbessern.
Wenn man bedenkt welche Rechenleistung "echte" extra 60FPS in UHD/4K kosten dann könnte man sogar von einer Verschwendung von Ressourcen und Energie sprechen.


Das zweite Hauptproblem nach Inputlag die Verschwommenheit hast du jetzt etwas untergehen lassen.
Den Inputlag kannst du mit Rechenleistung besiegen, gegen die Verschwommenheit kommst du nicht an.
#9
Registriert seit: 29.02.2012

Korvettenkapitän
Beiträge: 2199
Welche Verschwommenheit? Im TV Sektor nutzt man die Framesinterpolation um die Sample Hold bedingte Bewegungsunschärfe zu verringern. Fazit.: Die Bewegtbildschärfe steigt durch Die Interpolation an

Gesendet von meinem SM-G920F mit Tapatalk
#10
customavatars/avatar1651_1.gif
Registriert seit: 01.04.2002

Frischluftfanatiker
Beiträge: 16360
Er mein vermutlich die Artefakte bei sehr schnellen Bewegungen wenn die Basis z.B. nur 30FPS ist. Dann kann man die Zwischenbildberechnung aber halbieren was ca. 60FPS entspricht.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

NVIDIA Titan V: Volta-Architektur im Gaming-Test

Logo von IMAGES/STORIES/2017/NVIDIA-TITANV

In der letzten Woche hatte NVIDA noch eine Überraschung für uns parat: Die brandneue NVIDIA Titan V wurde vorgestellt. Damit gibt es das erste Consumer-Modell mit der neuen Volta-Architektur, das auch für Spieler interessant sein kann, in erster Linie aber auch professionelle Nutzer ansprechen... [mehr]

Sapphire Radeon RX Vega 64 Nitro+ im Test

Logo von IMAGES/STORIES/2017/SAPPHIRE-VEGA

Heute ist es endlich soweit: Wir können uns das zweite Custom-Design der Radeon RX Vega anschauen. Dabei handelt es sich um die Sapphire Radeon RX Vega 64 Nitro+, die besonders durch die Kühlung auf sich aufmerksam machen will. Drei Slots, drei Axiallüfter und sogar eine spezielle... [mehr]

Die GeForce RTX 2080 Ti und RTX 2080 Founders Edition im Test

Logo von IMAGES/STORIES/2017/GEFORCERTX2080

Heute nun ist es endlich soweit und wir präsentieren die vollständigen Leistungsdaten und Messwerte zu den beiden ersten Karten der GeForce-RTX-20-Serie von NVIDIA. Nach der Vorstellung der Pascal-Architektur im Mai 2016 sind die neuen Karten für NVIDIA in vielerlei Hinsicht ein... [mehr]

Mega-Roundup: 14 aktuelle GeForce-Grafikkarten in 11 Blockbuster-Spielen...

Logo von IMAGES/STORIES/2017/GPU_BLOCKBUSER_VGL_ZOTAC-TEASER

In Kooperation mit Zotac Auch in diesem Jahr veranstalteten die Spielepublisher wieder ein regelrechtes Feuerwerk an neuen Videospielen. Vor allem in den letzten Wochen des Jahres wurden zahlreiche neue Triple-A-Titel veröffentlicht, wie beispielsweise ein neues "Call of Duty",... [mehr]

Die ersten Custom-Modelle der GeForce GTX 1070 Ti im Test

Logo von IMAGES/STORIES/LOGOS-2017/GTX1070TI-LOGO

Nach der Vorstellung aller Details dürfen wir heute die Leistungswerte der GeForce GTX 1070 Ti veröffentlichen. Dabei stand uns dieses Mal keine Founders Edition zur Verfügung, die nur von NVIDIA verkauft wird, dafür aber einige Custom-Modelle. Diese stammen aus dem Hause ASUS, Inno3D und... [mehr]

Sechs Grafikkarten von Sapphire im Vergleich in 11 Blockbuster-Spielen

Logo von IMAGES/STORIES/2017/SAPPHIRE-2017AUFMACHER

In Kooperation mit Sapphire Nachdem der Herbst und Winter mit zahlreichen neuen Spielen samt Grafikfeuerwerk aufwarten konnte, haben wir uns bereits 14 aktuelle GeForce-Karten in 11 neuen Spielen angeschaut. Nun wollen wir die Seiten sozusagen wechseln und schauen uns an, wie diese Spiele auf... [mehr]