Werbung
Die diesjährige Hot-Chips-Konferenz stand ganz im Zeichen des Speicherbooms und entsprechend präsentierten alle großen Speicherhersteller ihre aktuellen Entwicklungen an zukünftigen Versionen von HBM. Dabei kommt dem Base-Die eine besondere Bedeutung zu. Samsung machte dies auf der Hot Chips besonders deutlich.
Dabei wird es einen standardkonformen Base-Die geben, der sich vergleichsweise einfach integrieren lässt. Um moderne Fertigungstechniken und den verfügbaren Platz auf dem Package optimal auszunutzen, planen alle Hersteller darüber hinaus einen Custom-HBM (cHBM) mit einem modifizierten Base-Die.
NVIDIA geht noch einen Schritt weiter und präsentiert nun mit NVHBM eine eigene Variante – oder besser, eine auf die eigenen Bedürfnisse angepasste Variante. Auf Package-Ebene ergänzt NVIDIA mit NVHBM seine Strategie für kundenspezifische KI-Beschleuniger, sogenannte XPUs. Dabei handelt es sich um eine speziell ausgelegte HBM-Base-Die-Technologie, die gemeinsam mit führenden Speicherherstellern entwickelt und validiert wird. Ziel ist es, die Speicherbandbreite zu erhöhen, den für die HBM-Anbindung benötigten Chip- und Package-Bereich zu reduzieren und gleichzeitig den Energiebedarf des Speichers zu senken. NVIDIA sieht darin insbesondere Vorteile für Training und Inferenz großer Modelle, bei denen Modellgewichte, Aktivierungsdaten und der KV-Cache mit hoher Geschwindigkeit zwischen Speicher und Recheneinheiten bewegt werden müssen.
Mit zunehmender Größe von KI-Systemen verlagert sich die Betrachtung zudem von einzelnen Beschleunigern auf komplette Rack- und Cluster-Domänen. Das Package muss dabei Rechenlogik, Stromversorgung, thermische Eigenschaften und die Anbindung des HBM miteinander in Einklang bringen. HBM bringt die benötigte Speicherbandbreite zwar unmittelbar an den Beschleuniger, die Auswahl geeigneter Speichertechnologien sowie deren Integration und Validierung können bei kundenspezifischen Designs jedoch einen erheblichen Entwicklungsaufwand darstellen. Über NVLink Fusion stellt NVIDIA deshalb eine bereits mit führenden Speicherherstellern validierte NVHBM-Base-Die-Technologie bereit, um diese Integrations- und Qualifikationsschritte zu vereinfachen.
Ein wesentlicher Ansatzpunkt von NVHBM ist die Erhöhung der Speicherbandbreite. NVIDIA spricht von bis zu 30 % mehr Bandbreite pro HBM-Stack gegenüber HBM4E. Gerade bei speicherlimitierten oder teilweise speicherlimitierten Anwendungen kann eine höhere Bandbreite dazu beitragen, die Recheneinheiten besser auszulasten. Bei der Inferenz großer Sprachmodelle betrifft dies unter anderem das wiederholte Lesen von Modellgewichten und KV-Cache-Daten. Können diese Daten schneller aus dem HBM bereitgestellt werden, lassen sich Wartezeiten der Recheneinheiten reduzieren und potenziell höhere Durchsatzraten pro Nutzer erzielen.
Die lokale Speicheranbindung ist dabei nur ein Teil des Gesamtkonzepts. NVLink Fusion soll kundenspezifische XPUs über einen speziellen NVLink-Fusion-Chiplet an die NVLink-Fabric anbinden und damit mehrere Beschleuniger zu einer gemeinsamen Scale-up-Domäne verbinden. NVIDIA sieht NVLink als verbindendes Element für diese Kommunikation, während NVHBM die lokalen Recheneinheiten mit ausreichend Daten versorgen soll.
Auch die benötigte Chipfläche spielt bei kundenspezifischen Beschleunigern eine wichtige Rolle. Die verfügbare Fläche muss unter anderem auf Matrix- und Vektoreinheiten, On-Chip-SRAM, Cache-Strukturen, Steuerlogik, Speicherinterfaces sowie die interne und externe Kommunikation verteilt werden. NVHBM soll hier insbesondere durch eine kompaktere physische HBM-Schnittstelle Vorteile bieten. NVIDIA verlagert dazu den Speichercontroller in den dreidimensionalen HBM-Stack und kombiniert ihn mit einem kundenspezifisch ausgelegten PHY. Dadurch soll sich die für PHY und unterstützende Schaltungen benötigte Fläche gegenüber einer HBM4E-Implementierung um bis zu 67 % reduzieren.
Die kompaktere Schnittstelle wirkt sich laut NVIDIA zudem auf das Package- und Interposer-Layout aus. Durch die geringere Zahl beziehungsweise geringere Breite der benötigten Verbindungen soll sich die Routing-Komplexität reduzieren. NVIDIA beziffert den daraus resultierenden Vorteil mit bis zu 80 % mehr nutzbarer Siliziumfläche über das gesamte Layout. Diese zusätzliche Fläche kann bei einem kundenspezifischen XPU-Design beispielsweise für zusätzliche Rechenwerke, Cache oder auf den jeweiligen Einsatzzweck zugeschnittene Beschleunigerlogik genutzt werden.
Ein weiterer Schwerpunkt liegt auf der Energieeffizienz. NVIDIA gibt für NVHBM einen um bis zu 15 % niedrigeren Energiebedarf des HBM-Subsystems gegenüber HBM4E an. Die Einsparung betrifft damit nicht nur die Leistungsaufnahme des einzelnen Beschleunigers, sondern auch dessen thermisches Budget. Bei einer XPU kann die frei werdende Leistung beispielsweise für zusätzliche Rechenlogik oder eine höhere dauerhafte Auslastung genutzt werden. Auf Rack- und Rechenzentrumsebene summieren sich solche Einsparungen über eine große Zahl von Beschleunigern und können entsprechend die Anforderungen an Stromversorgung und Kühlung reduzieren.
NVIDIA führt als Beispiel ein Rechenzentrum mit einer Leistung von einem Gigawatt und XPUs mit jeweils 2.000 W Leistungsaufnahme an. Durch die Einsparungen beim HBM sollen theoretisch bis zu 15.000 zusätzliche XPUs innerhalb des vorhandenen Leistungsbudgets betrieben werden können. Diese Rechnung ist allerdings als theoretische Kapazitätsbetrachtung zu verstehen: Ob die eingesparte Energie tatsächlich vollständig in zusätzliche Beschleuniger umgesetzt werden kann, hängt unter anderem von der Dimensionierung von Stromversorgung, Kühlung, Netzwerk und der übrigen Infrastruktur ab.
Besonders relevant ist die Kombination aus höherer Bandbreite und geringerem Energiebedarf bei der Inferenz großer Modelle. Während des Betriebs müssen große Mengen an Modellgewichten und KV-Cache-Daten wiederholt aus dem Speicher gelesen werden. Eine höhere lokale Speicherbandbreite kann diese Daten schneller bereitstellen, während ein geringerer Energiebedarf des Speichers zusätzlichen Spielraum innerhalb des Leistungsbudgets schafft. Dadurch können je nach Anwendung höhere Batch-Größen, ein höherer Token-Durchsatz oder eine effizientere Nutzung der verfügbaren Rechenleistung möglich werden.
NVIDIA fasst die Vorteile von NVHBM und NVLink Fusion in einer gemeinsamen Architektur zusammen. Für NVHBM nennt das Unternehmen bis zu 30 % mehr Speicherbandbreite, bis zu 25 % mehr nutzbare Die-Fläche und bis zu 15 % weniger HBM-Leistungsaufnahme. Aus der Kombination dieser Maßnahmen leitet NVIDIA eine Steigerung der End-to-End-Leistung eines KI-Beschleunigers von bis zu 30 % ab.
Über den NVLink-Fusion-Chiplet werden die kundenspezifischen XPUs anschließend in die übrige NVIDIA-Plattform integriert. Die Beschleuniger können damit innerhalb eines Racks über NVLink miteinander kommunizieren und gleichzeitig mit weiteren Komponenten des Systems verbunden werden. Auf der anderen Seite ist über NVLink-C2C auch eine Anbindung der XPUs an CPUs vorgesehen. NVLink Fusion soll damit nicht nur die technische Verbindung einzelner kundenspezifischer Beschleuniger bereitstellen, sondern deren Integration in NVIDIAs bestehende Scale-up- und Scale-out-Infrastruktur vereinfachen.
Für Betreiber großer KI-Infrastrukturen entsteht daraus ein Ansatz, bei dem kundenspezifische XPUs und NVIDIA-GPUs innerhalb einer gemeinsamen Architektur eingesetzt werden können. Dies ermöglicht heterogene Systeme, in denen unterschiedliche Beschleuniger auf verschiedene Arbeitslasten zugeschnitten sind. Gleichzeitig sollen standardisierte Schnittstellen und die bereits validierten Speicher- und Interconnect-Technologien den Entwicklungs- und Integrationsaufwand reduzieren. NVIDIA positioniert NVHBM damit vor allem als Baustein für die Skalierung kundenspezifischer KI-Beschleuniger, bei denen Speicherbandbreite, Package-Fläche, Energieeffizienz und die Kommunikation zwischen mehreren Beschleunigern zunehmend gemeinsam betrachtet werden müssen.
