1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Software
  6. >
  7. Anwendungen
  8. >
  9. NVIDIA Streamline: Framework vereinfacht Integration von Upscaling-Technologien

NVIDIA Streamline: Framework vereinfacht Integration von Upscaling-Technologien

Veröffentlicht am: von

nvidiaZur GDC in der vergangenen Woche stellte NVIDIA mit Streamline ein Open-Source-Framework vor, welches es Entwicklern einfacher machen soll, möglichst viele Upscaling-Technologien in ihre Spiele zu integrierten. Über die Engine und die Treiber gibt es ein Upscaling schon einige Jahre. Mit DLSS (Deep Learning Super Sampling) hat diese Methode jedoch erneut Fahrt aufgenommen und wurde seitens AMD mit FSR (FidelityFX Super Resolution) entsprechend gekontert.

Doch inzwischen kann man als Spieler leicht die Übersicht verlieren, welche Upscaling-Technik nun wann genau die bessere ist und welche Abhängigkeiten es zueinander gibt. Alleine NVIDIA bietet mit DLSS, DLAA (Deep Learning Anti-Aliasing) und NIS (NVIDIA Image Scaling) gleich drei Techniken an. Bei AMD gibt es neben dem FSR noch das RSR (Radeon Super Resolution) und bald soll eine verbesserte Variante FSR 2.0 verfügbar sein, die dann auch temporale Daten mit einbeziehen und die Bildqualität deutlich verbessern soll.

Intel kündigt für Sommer die Verfügbarkeit von XeSS (Xe Super Sampling) an und somit hätten wir dann auch noch einen dritten Anbieter mit eigener Upscaling-Technik.

Aber nicht nur die Spieler werden vor eine Wahl gestellt, vor allem die Entwickler der Spiele müssen für eine Integration dieser Techniken die meist ohnehin knappen Ressourcen aufwenden. Kommt eine Engine zum Einsatz, die per Plugin bereits eine einfache Integration zulässt, reduziert dies zwar den Aufwand, getestet werden muss eine solche Technik dann aber dennoch.

Hier will NVIDIA mit Streamline nun eine einfache Lösung anbieten. Streamline ist ein Cross-IHV Framework und zudem auch noch als Open-Source verfügbar. Streamline klemmt sich zwischen die Spiele/Engine- und Render-API und macht über die jeweiligen Plugins die verschiedenen Techniken zugänglich. Zu den Plugins von NVIDIA gehören natürlich das DLSS, DLAA und NIS, aber auch schon der NVIDIA Real-time Denoisers (NRD). Intel hat sein XeSS ebenfalls bereits hinzugefügt, so dass Entwickler, die Streamline verwenden, schon recht einfach eben die Plugins von NVIDIA und Intel verwenden können.

Das auf Github veröffentlichte Repository hält alle notwendigen Informationen und Ressourcen bereit, die es auch anderen Herstellern ermöglichen, für ihre Techniken ein Plugin zu bauen. Hauptadressat ist hier natürlich AMD mit FSR, FSR 2.0 und RSR. Streamline bietet als Schnittstelle die notwendigen Daten an, damit ein Upscaling über die verschiedenen Methoden funktionieren kann. Dazu gehören Informationen wie Bewegungsvektoren (für ein temporales Upscaling), Tiefeninformationen und vieles mehr. Aktuell liegt das Streamline-Framework in der Version 1.0.1 vor.

Streamline kann aktuell bereits für Spiele verwendet werden, die DirectX 11 und DirectX 12 als Render-API verwenden. Die Vulkan-Unterstützung befindet sich in der Beta-Phase. NVIDIA dürfte die Integration von DLSS und den weiteren eigenen Techniken als vorrangiges Ziel hinter dem Angebot des Streamline-Frameworks haben. Für Intel stellt dies eine Möglichkeit dar, sein XeSS unterzubringen, denn es dürfte für jeden Anbieter schwierig sein, möglichst viele Entwickler von den Vorteilen der eigenen Technik zu überzeugen. Diesen Anspruch haben alle Anbieter gleichermaßen und es dürfte für die Entwickler nahezu unmöglich sein, alles gleichermaßen abdecken zu können.

Übersicht der Upscaling-Technologien

Bei der Vielzahl an vorhandenen Techniken wollen wir einmal für etwas mehr Übersicht sorgen:

Übersicht der Upscaling-Techniken

Technik UpscalingKI-RekonstruktionHardware-Voraussetzung
DLSS spatial + temporal
JaJaTensor Core
DLAA spatial + Schärfefilter
NeinJaTensor Core
NIS spatial + Schärfefilter
NeinNeinkeine*
FSR spatial + Schärfefilter
JaNeinkeine*
FSR 2.0 spatial + temporal
JaNeinkeine*
RSR spatial + Schärfefilter
JaNeinkeine*
XeSS spatial + temporal
JaJakeine*

*Siehe Erläuterungen im nachfolgenden Text

Es benötigt aber noch einiger Erläuterungen der Tabelle, denn ganz so einfach wie sich dies auf den ersten Blick darstellt, ist es nicht. DLSS und DLAA sind Techniken, die mit Deep-Learning-Algorithmen arbeiten, aber nur bei DLSS handelt es sich um eine Upscaling-Technik. DLAA hingegen ist ein Anti-Aliasing, also eine Kantenglättung, die in nativer Auflösung arbeitet und Machine Learning im Rahmen der Rekonstruktion verwendet. DLSS und DLAA setzen die Tensor Cores voraus und arbeiten daher nur auf GeForce-RTX-Karten.

NIS ist eine Art Schärfefilter, der ebenfalls keine Upscaling-Technik darstellt und auch keinerlei KI-Rekonstruktion anwendet. Daher ist NIS auch über den Treiber mit jeglicher NVIDIA-Hardware kompatibel. Theoretisch wäre es auch möglich, ein NIS mit AMD-Karten anzuwenden, dazu müsste es aber in den Treiber oder in ein Spiel integriert werden. Es ist nicht sehr wahrscheinlich, dass ein Konkurrent von NVIDIA dies tun wird.

FSR ist ein spatialer Upscaler, der ebenfalls ohne KI-Rekonstruktion auskommt. Grundsätzlich gäbe es hier keine, bzw. kaum Hardwarevoraussetzungen, laut AMD funktioniert FSR auf Karten der Radeon-RX-500-Serie und schneller sowie mit NVIDIA-GPUs wie der GeForce-GTX-10- und GeForce-RTX-20-Serie und schneller. FSR muss vom Spieleentwickler integriert werden und steht dann allen Nutzern dieser Karten zur Verfügung.

FSR 2.0 bringt Verbesserungen in Form der Integration temporaler Elemente mit sich. Hier findet noch immer keine KI-Komponente Anwendung. Daher dürfte sich auch an den Hardwarevoraussetzungen wenig tun. Bisher hat sich AMD dazu noch nicht konkret geäußert, nennt in der Ankündigung jedoch empfohlene Hardware für bestimmte Ausgabeauflösungen – darunter auch Hardware von NVIDIA. RSR ist eine treiberinterne Upsaling-Technik, die nur spatiale Daten verwendet und zudem auch Eingabewerte des Spiels verzichten muss. Für ein FSR können bestimmte Elemente wie das HUD vom Upsaling ausgenommen werden und bleiben in der Größe so, wie sie zur idealen Darstellung vorgesehen sind. Dies ist mit RSR nicht der Fall.

XeSS verwendet ebenfalls spatiale und temporale Daten. Hier kommt auch wieder eine KI-Komponente hinzu, die Intel auf den eigenen XMX-Einheiten der Arc-Grafikkarten beschleunigen möchte. Auf nicht Intel-Hardware kommt eine DP4a-Beschleunigung zum Einsatz, die INT8-Berechnungen verwendet. Darüber werden auch die aktuellen Grafikkarten mit AMD- und NVIDIA-GPU in der Lage sein, das XeSS auszuführen. XeSS soll auf den XMX-Einheiten aber noch einmal schneller sein, als dies auf der Konkurrenz-Hardware der Fall ist.

Wir hoffen euch somit eine kleine Übersicht geben zu können. Die Vor- und Nachteile der verschiedenen Techniken, vor allem im Hinblick auf die Darstellungsqualität, aber auch im Leistungsplus, stehen noch einmal auf einem ganz anderen Blatt. Diesem Thema müssen wir uns in aller Ausführlichkeit widmen, sobald alle drei Techniken auf einem Stand sind – sprich DLSS, FSR 2.0 und XeSS zur Verfügung stehen.

Social Links

Das könnte Sie auch interessieren:

  • SignalRGB im Einsatz: Eine RGB-Software für alles

    Logo von IMAGES/STORIES/2017/SIGNALRGB_LOGO

    Advertorial / Anzeige: Effektvoll beleuchtete PC-Komponenten sind mittlerweile Standard. Was wenig standardisiert ist, das ist allerdings die Beleuchtungssteuerung. SignalRGB von WhirlwindFX ist eine Software, die nun die einheitliche Beleuchtungssteuerung von Produkten ganz unterschiedlicher... [mehr]

  • BSI warnt vor Kaspersky-Virenschutz

    Logo von IMAGES/STORIES/2017/BUNDESNETZAGENTUR

    Der Angriffskrieg von Russland gegen die Ukraine macht sich auch in Deutschland bemerkbar. Insbesondere die gestiegenen Energiepreise beziehungsweise Treibstoffkosten sind eine unmittelbare Auswirkung des Krieges. Da sich der weitere Verlauf nicht vorhersagen lässt und die aktuelle Lage noch an... [mehr]

  • DirectStorage API nun für Windows 10 und 11 verfügbar

    Logo von IMAGES/STORIES/2017/MICROSOFT_2

    Die DirectStorage API ist nun in der finalen Version für den PC erschienen. Somit können Spieleentwickler ihre Software auf die Nutzung von DirectStorage auslegen und die Ladezeiten verkürzen. DirectStorage soll laut Microsoft sowohl unter Windows 10, als auch Windows 11,... [mehr]

  • Microsoft bietet illegalen Office-Anwendern 50% Rabatt fürs Abo

    Logo von IMAGES/STORIES/2017/MICROSOFT_2

    Der Diebstahl von Softwareprodukten ist bei Microsoft bereits seit Jahrzehnten ein Thema. Ob das gesamte Betriebssystem ohne gültige Lizenz genutzt wird oder lediglich Office: illegale Kopien von Microsoft-Produkten gibt es zur Genüge. Um diesem Zustand nun Einhalt zu gebieten hat sich das... [mehr]

  • BSI warnt vor massiver Sicherheitslücke in der Java-Bibliothek Log4j

    Logo von IMAGES/STORIES/2017/BUNDESNETZAGENTUR

    Wie das Bundesamt für Sicherheit in der Informationstechnik (BSI) über seine Webseite bekannt gegeben hat, klafft eine massive Sicherheitslücke in der Java-Bibliothek Log4j. Besagte Schwachstelle wurde mit der Warnstufe "Rot" bewertet, was die höchste Warnstufe des BSI darstellt. Neben der... [mehr]

  • Insider-Build Windows 11: Werbung im Windows-Explorer kommt (Update)

    Logo von IMAGES/STORIES/2017/MICROSOFT_2

    Microsoft scheint sich von der Werbung im Windows-Betriebssystem nicht verabschieden zu wollen und zieht erneut die Missgunst seiner Nutzer auf sich. Mit dem neuen Insider-Build von Windows 11 gibt es neben Tabs im Windows Explorer auch Werbung. In der Version 22572 wird ein Banner eingeblendet,... [mehr]