Realistisches 3D-Gesichtsmodell

NVIDIA Audio2Face wird Open Source

NVIDIA stellt seine Audio2Face-Modelle und das dazugehörige SDK als Open Source zur Verfügung. Entwickler von 3D-Anwendungen und hier vor allem von Spielen können möglichst realistische Charaktere mit entsprechenden Animationen erstellen und einsetzen. NVIDIA stellt außerdem das Audio2Face-Trainingsframework als Open Source zur Verfügung, sodass jeder bereits vorhandene Modelle für seinen spezifischen Anwendungsfall optimieren und anpassen kann.

Das Audio2Face-Modell soll die Sprachausgabe und dazugehörigen Animationen der Charaktere möglichst realistisch darstellen. Im Audio2Face-3D-SDK enthalten sind unter anderem Plugins für die Unreal Engine und Maya. Die Audio2Face-Modelle sorgen für eine lippensynchrone Animation der Charaktere mit der Sprachausgabe. Die Audio2Emotion-Modelle analysieren den emotionalen Status des Characters und passen die Gesichtszüge entsprechend an.

Die Audio2Face- und Audio2Emotion-Modelle stehen jeweils als Regressions- und Diffusionsmodelle zur Verfügung. Regressionsmodelle sind überwachte Lernmodelle, die einen einfachen Zusammenhang zwischen den Eingabe- und Ausgabewerten herstellen. Diffusionsmodelle hingegen sind lernende neuronale Netze, die neue Daten und damit Werte erzeugen können – sich sozusagen weiterentwickeln können.

Mit der Veröffentlichung des Audio2Face-3D-SDK als Open Source will NVIDIA zu einer größeren Verbreitung sorgen. Entwicklerstudios wie Codemasters, GSC Games World, NetEase und Perfect World Games konnten bereits Erfahrungen sammeln. Middleware-Anbieter wie Convai, Inworld AI, Reallusion, Streamlabs und UneeQ stellen fertige Audio2Face-Modelle zur Verfügung, die dann vom Spieleentwickler integriert werden können.

Alle weiteren Informationen zum Audio2Face-3D-SDK sind direkt bei NVIDIA zu finden. Erstmals vorgestellt und mittels interaktiver Demo gezeigt wurde Audio2Face im Frühjahr 2024. Umfang und Umsetzung wurden in den kommenden Monaten immer weiter verbessert und um weitere Modelle ergänzt.