1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Consumer Electronic
  6. >
  7. Heimkino
  8. >
  9. Machine Learning macht aus altem S/W-Video 4K60FPS

Machine Learning macht aus altem S/W-Video 4K60FPS

Veröffentlicht am: von

ai-mlAlte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück.

Die Ankunft eines Dampfzuges in La Ciotat ist eine der ikonischsten Aufnahmen der Filmgeschichte. Die 1896 von Auguste und Louis Lumière gemachten Aufnahmen stellten zur damaligen Zeit das technisch Machbare für Filmaufnahmen dar. Damals war es das Ziel, das industrielle Zeitalter mit all seinen Möglichkeiten wie dem Transport und der Reise via Dampflok filmisch festzuhalten.

Doch die niedrige Auflösung, das Rauschen und die Fehler im Filmmaterial mögen ihren Charme haben, sind aber aus qualitativen Gesichtspunkten heute nicht mehr als aktuell anzusehen. In der Folge ist der Film im Original zu sehen:

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Denis Shiryaev hat eine Software namens AI Gigapixel verwendet, um den kurzen Filmausschnitt darauf anzuwenden. AI Gigapixel wurde schon mehrfach für ähnliche Projekte verwendet. Unter anderem haben wir über ein Remaster der TV-Serie Star Trek DS9 berichtet.

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Das Upscaling der einzelnen Frames bietet ein Endergebnis von 4K bei 60 FPS (siehe oben). Es wurden also einerseits Details hinzugefügt, die so im Original zwangsläufig nicht mehr sichtbar waren, zum anderen wurden auch ganze Frames künstlich erzeugt. AI Gigapixel verwendet zur Bilderzeugung verschiedene, vortrainierte Deep- und -Machine-Learning-Netzwerke. Dazu wird das Netzwerk mit tausenden Fotos trainiert. Diese sollten in der Optik in etwa dem entsprechen, mit dem sie später verglichen werden. So lernt das Netzwerk hinzu, erkennt Unterschiede und kann selbst Details hinzufügen, die im Originalmaterial gar nicht vorhanden sind.

Die Methodik ist dem Deep Learning Super Sampling von NVIDIA nicht ganz unähnlich. Nach anfänglichen Schwierigkeiten der Technik hat NVIDIA hier inzwischen eine Bildqualität erreicht, die der nativen Auflösung entsprechen kann. Für DLSS wird ebenfalls ein neuronales Netzwerk trainiert, in diesem Fall jedoch mit gerenderten Frames von verschiedenen Spielen. Eingangsdaten sind zum einen das von der eigenen Grafikkarte gerenderte Bild (in einer niedrigeren Auflösung als die Zielauflösung) sowie vordefinierte Idealzustände eines gerenderten Bildes. Diese liegen in einem 64x Supersampling (64xAA) vor und wurden auf einem SATURN V getauften Supercomputer bei NVIDIA berechnet. Aus der Differenz des durch die eigenen Grafikkarten gerenderten Bildes und dem Idealzustand für das Spiel wird die Ausgabe erstellt. Dieses Inferencing findet auf den Tensor-Kernen der Turing-Architektur statt.

In einem nächsten Schritt kann Schwarz-Weiß-Filmmaterial um Farben ergänzt werden. Wie dies aussehen könnte, zeigt ArsTechnica mittels einer App namens Colorize. Da auch dieses Netzwerk den Idealzustand aus zahlreichen Trainingsdaten kennt, wird dem Schwarz-Weiß-Frame die passende Farbe hinzugefügt.

Einmal mehr zeigt ein solches Projekt, welche Möglichkeiten in den ML-Anwendungen liegen. Ob und wie sie dann angewendet werden, steht auf einem anderen Blatt.

Social Links

Zu diesem Artikel gibt es keinen Forumeintrag

Das könnte Sie auch interessieren:

  • Kulissenbau für The Mandalorian: LED-Leinwand und Unreal Engine

    Logo von IMAGES/STORIES/2017/ILM

    Ab dem 24. März wird hierzulande auch Disney+ als weiterer großer Streamingdienst-Anbieter an den Start gehen. Filme von Disney, Pixar, Marvel, Star Wars und National Geoghraphic sollen dem Angebot von Amazon Prime und Netflix Konkurrenz machen. Ausgängeschild von Disney+ ist sicherlich The... [mehr]

  • Machine Learning macht aus altem S/W-Video 4K60FPS

    Logo von IMAGES/STORIES/2017/AI-ML

    Alte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück. Die Ankunft eines... [mehr]

  • Zertifizierungsprogramm: Ultra-High-Speed-HDMI-Kabel für HDMI 2.1

    Logo von IMAGES/STORIES/2017/HDMI

    Die Auswahl der verschiedenen HDMI-Kabel ist groß und schnell verliert man dabei den Überblick. Um diesem Problem entgegenzuwirken, hat das HDMI-Forum ein verbindliches Zertifizierungsprogramm ins Leben gerufen. Dabei geht es um den neusten HDMI-Standard in der Version 2.1. Damit sind laut den... [mehr]

  • Star Trek Voyager per AI auf 4K gebracht

    Logo von IMAGES/STORIES/2017/AI-ML

    Bereits häufiger haben wir über die Möglichkeiten der Machine-Learning-Anwendungen berichtet, altes Bildmaterial zu verbessern. Den Anfang machte ein Versuch mit Star Trek Deep Space Nine, zuletzt wurde aber auch ein altes Schwarz-Weiß-Video in ein 4K@60FPS-Format... [mehr]

  • H.266/VVC soll Video-Bitrate um 50 % reduzieren

    Logo von IMAGES/STORIES/2017/H266-VVC-LOGO

    Unter maßgeblicher Beteiligung des Fraunhofer Heinrich-Hertz-Instituts wurde der Versatile Video Coding (VVC) fertiggestellt und offiziell verabschiedet. Der kurz als H.266 bezeichnete Standard und damit Nachfolger von H.265 soll das Datenaufkommen für Videos noch einmal halbieren. Durch eine... [mehr]

  • TCL kündigt TV-Displays mit Mini-LED-Backlight an

    Logo von IMAGES/STORIES/2017/TCL-LOGO

    TCL hat während der CES 2020 eine neue Hintergrundbeleuchtung für Displays vorgestellt. Der Hersteller setzt dabei auf Mini-LEDs, die direkt hinter einem LC-Display platziert werden. Die Technik darf dabei nicht mit Mini-LED-Displays verwechselt werden, denn TLC setzt die LEDs lediglich für die... [mehr]