1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Consumer Electronic
  6. >
  7. Heimkino
  8. >
  9. Machine Learning macht aus altem S/W-Video 4K60FPS

Machine Learning macht aus altem S/W-Video 4K60FPS

Veröffentlicht am: von

ai-mlAlte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück.

Die Ankunft eines Dampfzuges in La Ciotat ist eine der ikonischsten Aufnahmen der Filmgeschichte. Die 1896 von Auguste und Louis Lumière gemachten Aufnahmen stellten zur damaligen Zeit das technisch Machbare für Filmaufnahmen dar. Damals war es das Ziel, das industrielle Zeitalter mit all seinen Möglichkeiten wie dem Transport und der Reise via Dampflok filmisch festzuhalten.

Doch die niedrige Auflösung, das Rauschen und die Fehler im Filmmaterial mögen ihren Charme haben, sind aber aus qualitativen Gesichtspunkten heute nicht mehr als aktuell anzusehen. In der Folge ist der Film im Original zu sehen:

Denis Shiryaev hat eine Software namens AI Gigapixel verwendet, um den kurzen Filmausschnitt darauf anzuwenden. AI Gigapixel wurde schon mehrfach für ähnliche Projekte verwendet. Unter anderem haben wir über ein Remaster der TV-Serie Star Trek DS9 berichtet.

Das Upscaling der einzelnen Frames bietet ein Endergebnis von 4K bei 60 FPS (siehe oben). Es wurden also einerseits Details hinzugefügt, die so im Original zwangsläufig nicht mehr sichtbar waren, zum anderen wurden auch ganze Frames künstlich erzeugt. AI Gigapixel verwendet zur Bilderzeugung verschiedene, vortrainierte Deep- und -Machine-Learning-Netzwerke. Dazu wird das Netzwerk mit tausenden Fotos trainiert. Diese sollten in der Optik in etwa dem entsprechen, mit dem sie später verglichen werden. So lernt das Netzwerk hinzu, erkennt Unterschiede und kann selbst Details hinzufügen, die im Originalmaterial gar nicht vorhanden sind.

Die Methodik ist dem Deep Learning Super Sampling von NVIDIA nicht ganz unähnlich. Nach anfänglichen Schwierigkeiten der Technik hat NVIDIA hier inzwischen eine Bildqualität erreicht, die der nativen Auflösung entsprechen kann. Für DLSS wird ebenfalls ein neuronales Netzwerk trainiert, in diesem Fall jedoch mit gerenderten Frames von verschiedenen Spielen. Eingangsdaten sind zum einen das von der eigenen Grafikkarte gerenderte Bild (in einer niedrigeren Auflösung als die Zielauflösung) sowie vordefinierte Idealzustände eines gerenderten Bildes. Diese liegen in einem 64x Supersampling (64xAA) vor und wurden auf einem SATURN V getauften Supercomputer bei NVIDIA berechnet. Aus der Differenz des durch die eigenen Grafikkarten gerenderten Bildes und dem Idealzustand für das Spiel wird die Ausgabe erstellt. Dieses Inferencing findet auf den Tensor-Kernen der Turing-Architektur statt.

In einem nächsten Schritt kann Schwarz-Weiß-Filmmaterial um Farben ergänzt werden. Wie dies aussehen könnte, zeigt ArsTechnica mittels einer App namens Colorize. Da auch dieses Netzwerk den Idealzustand aus zahlreichen Trainingsdaten kennt, wird dem Schwarz-Weiß-Frame die passende Farbe hinzugefügt.

Einmal mehr zeigt ein solches Projekt, welche Möglichkeiten in den ML-Anwendungen liegen. Ob und wie sie dann angewendet werden, steht auf einem anderen Blatt.

Social Links

Zu diesem Artikel gibt es keinen Forumeintrag

Das könnte Sie auch interessieren:

  • Star Trek: Picard: Jean-Luc Picard zeigt sich im Trailer zur neuen Serie

    Logo von IMAGES/STORIES/2017/STAR-TREK

    Um Jean-Luc Picard war es lange ruhig geworden - der Captain der USS Enterprise hatte seinen letzten Auftritt 2002 im Kinofilm Star Trek: Nemesis. Weil Schauspieler Patrick Stewart mittlerweile schon 79 Jahre alt ist, schien eine Rückkehr bereits aus Altersgründen lange... [mehr]

  • NVIDIA präsentiert die neue Shield TV und Shield TV Pro

    Logo von IMAGES/STORIES/2017/NVIDIA

    NVIDIA ist eigentlich für seine Grafikkarten bekannt, doch nun hat das Unternehmen eine aktualisierte Version seines Shield TV vorgestellt. Der Hersteller hat neben dem Shield TV auch gleich den Shield TV Pro angekündigt. Beide Modelle werden dabei mit dem Fernseher verbunden und setzen... [mehr]

  • Erster Trailer zur The Witcher-Serie zeigt Geralt und Co.

    Logo von IMAGES/STORIES/2017/NETFLIX

    Die The Witcher-Rollenspielreihe ist spätestens seit dem dritten Teil eine starke Marke. Zusätzlich dürfte auch der Erfolg von Game of Thrones Netflix dazu ermutigt haben, den Stoff für eine neue Fantasyserie zu nutzen. Ein erster Trailer zur ersten Staffel verrät jetzt etwas mehr... [mehr]

  • Machine Learning macht aus altem S/W-Video 4K60FPS

    Logo von IMAGES/STORIES/2017/AI-ML

    Alte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück. Die Ankunft eines... [mehr]

  • Kulissenbau für The Mandalorian: LED-Leinwand und Unreal Engine

    Logo von IMAGES/STORIES/2017/ILM

    Ab dem 24. März wird hierzulande auch Disney+ als weiterer großer Streamingdienst-Anbieter an den Start gehen. Filme von Disney, Pixar, Marvel, Star Wars und National Geoghraphic sollen dem Angebot von Amazon Prime und Netflix Konkurrenz machen. Ausgängeschild von Disney+ ist sicherlich The... [mehr]

  • Neo und Trinity kehren für einen vierten Matrix-Teil zurück

    Logo von IMAGES/STORIES/2017/MATRIX_LOGO

    Die Matrix-Trilogie war eine der herausragenden und einflussreichsten Filmreihen um die Jahrtausendwende. Mit dem dritten Teil, Matrix Revolutions, wurde sie 2003 eigentlich zu einem Ende geführt. Doch nun ist tatsächlich ein vierter Teil geplant. Gerade der erste Matrix-Teil wurde mit seinem Mix... [mehr]