1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Consumer Electronic
  6. >
  7. Heimkino
  8. >
  9. Machine Learning macht aus altem S/W-Video 4K60FPS

Machine Learning macht aus altem S/W-Video 4K60FPS

Veröffentlicht am: von

ai-mlAlte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück.

Die Ankunft eines Dampfzuges in La Ciotat ist eine der ikonischsten Aufnahmen der Filmgeschichte. Die 1896 von Auguste und Louis Lumière gemachten Aufnahmen stellten zur damaligen Zeit das technisch Machbare für Filmaufnahmen dar. Damals war es das Ziel, das industrielle Zeitalter mit all seinen Möglichkeiten wie dem Transport und der Reise via Dampflok filmisch festzuhalten.

Doch die niedrige Auflösung, das Rauschen und die Fehler im Filmmaterial mögen ihren Charme haben, sind aber aus qualitativen Gesichtspunkten heute nicht mehr als aktuell anzusehen. In der Folge ist der Film im Original zu sehen:

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Denis Shiryaev hat eine Software namens AI Gigapixel verwendet, um den kurzen Filmausschnitt darauf anzuwenden. AI Gigapixel wurde schon mehrfach für ähnliche Projekte verwendet. Unter anderem haben wir über ein Remaster der TV-Serie Star Trek DS9 berichtet.

Datenschutzhinweis für Youtube



An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Ihr Hardwareluxx-Team

Youtube Videos ab jetzt direkt anzeigen

Das Upscaling der einzelnen Frames bietet ein Endergebnis von 4K bei 60 FPS (siehe oben). Es wurden also einerseits Details hinzugefügt, die so im Original zwangsläufig nicht mehr sichtbar waren, zum anderen wurden auch ganze Frames künstlich erzeugt. AI Gigapixel verwendet zur Bilderzeugung verschiedene, vortrainierte Deep- und -Machine-Learning-Netzwerke. Dazu wird das Netzwerk mit tausenden Fotos trainiert. Diese sollten in der Optik in etwa dem entsprechen, mit dem sie später verglichen werden. So lernt das Netzwerk hinzu, erkennt Unterschiede und kann selbst Details hinzufügen, die im Originalmaterial gar nicht vorhanden sind.

Die Methodik ist dem Deep Learning Super Sampling von NVIDIA nicht ganz unähnlich. Nach anfänglichen Schwierigkeiten der Technik hat NVIDIA hier inzwischen eine Bildqualität erreicht, die der nativen Auflösung entsprechen kann. Für DLSS wird ebenfalls ein neuronales Netzwerk trainiert, in diesem Fall jedoch mit gerenderten Frames von verschiedenen Spielen. Eingangsdaten sind zum einen das von der eigenen Grafikkarte gerenderte Bild (in einer niedrigeren Auflösung als die Zielauflösung) sowie vordefinierte Idealzustände eines gerenderten Bildes. Diese liegen in einem 64x Supersampling (64xAA) vor und wurden auf einem SATURN V getauften Supercomputer bei NVIDIA berechnet. Aus der Differenz des durch die eigenen Grafikkarten gerenderten Bildes und dem Idealzustand für das Spiel wird die Ausgabe erstellt. Dieses Inferencing findet auf den Tensor-Kernen der Turing-Architektur statt.

In einem nächsten Schritt kann Schwarz-Weiß-Filmmaterial um Farben ergänzt werden. Wie dies aussehen könnte, zeigt ArsTechnica mittels einer App namens Colorize. Da auch dieses Netzwerk den Idealzustand aus zahlreichen Trainingsdaten kennt, wird dem Schwarz-Weiß-Frame die passende Farbe hinzugefügt.

Einmal mehr zeigt ein solches Projekt, welche Möglichkeiten in den ML-Anwendungen liegen. Ob und wie sie dann angewendet werden, steht auf einem anderen Blatt.

Social Links

Zu diesem Artikel gibt es keinen Forumeintrag

Das könnte Sie auch interessieren:

  • LG Signature OLED R: aufrollbarer Fernseher nun im Handel

    Logo von IMAGES/STORIES/2017/LG-NEW

    Anfang des Jahres stellte LG seinen neuen, aufrollbaren Fernseher mit dem Namen Signature OLED R (Model RX). Nun kommt der 65-Zoll-Screen in den Handel, allerdings erstmal nur in Südkorea und zu einem stattlichen Preis. Der Fernseher ist in der Lage, auf Knopfdruck komplett zu verschwinden.... [mehr]

  • H.266/VVC soll Video-Bitrate um 50 % reduzieren

    Logo von IMAGES/STORIES/2017/H266-VVC-LOGO

    Unter maßgeblicher Beteiligung des Fraunhofer Heinrich-Hertz-Instituts wurde der Versatile Video Coding (VVC) fertiggestellt und offiziell verabschiedet. Der kurz als H.266 bezeichnete Standard und damit Nachfolger von H.265 soll das Datenaufkommen für Videos noch einmal halbieren. Durch eine... [mehr]

  • Star Trek Voyager per AI auf 4K gebracht

    Logo von IMAGES/STORIES/2017/AI-ML

    Bereits häufiger haben wir über die Möglichkeiten der Machine-Learning-Anwendungen berichtet, altes Bildmaterial zu verbessern. Den Anfang machte ein Versuch mit Star Trek Deep Space Nine, zuletzt wurde aber auch ein altes Schwarz-Weiß-Video in ein 4K@60FPS-Format... [mehr]

  • LG nimmt neue Produktionsstätte für OLED-Panels in Betrieb

    Logo von IMAGES/STORIES/2017/LG

    LG Display gilt neben Samsung als einer der größten Hersteller von Displays. Im Bereich der OLED-Produktion nimmt das Unternehmen sogar eine Spitzenposition ein. Diese Position hat man nun weiter ausgebaut, denn LG hat in Guangzhou eine neue Fabrik für die Herstellung von OLED-Panels in... [mehr]

  • Medion Life X17575 mit 75 Zoll kommt für 775 Euro zu Aldi

    Logo von IMAGES/STORIES/2017/ALDI

    Der Discounter Aldi wird ab Ende Juli mit dem Medion Life X17575 einen neuen Fernseher mit einer Diagonalen von 75 Zoll in den Verkauf bringen. Der Medion X17575 bietet auf einer Diagonalen von 75 Zoll eine Auflösung von 3.840 x 2.160 Bildpunkten. Damit setzt man bei dem Modell auf eine... [mehr]

  • Streamfest: Netflix plant gratis Wochenende

    Logo von IMAGES/STORIES/2017/NETFLIX

    Nachdem Netflix erst vor kurzen seinen kostenlosen Probemonat aus dem Angebot verbannt hat, gibt es Informationen zu einer neuen Methode, um neue Nutzer anzulocken. COO Greg Peters bestätigte, dass ein Promo-Event in Form eines kostenlosen Streaming-Wochenendes geplant sei. Dabei würde allen... [mehr]