HBM- und KI-Chip-Projektion

Bis zu 15 kW und gigantische HBM-Kapazitäten

Die Universität KAIST (Korea Advanced Institute of Science and Technology) in Südkorea, beziehungsweise das dazugehörige Terala (Terabyte Interconnection and Package Laboratory) hat einen aufsehenerregenden Workshop veranstaltet (PDF bei Google Drive). In dessen Rahmen eine HBM-Roadmap oder besser eine Projektion dessen, was in den kommenden Jahren zu erwarten ist, präsentiert wurde. Die hier genannten Zahlen für Bandbreiten, Kapazitäten, Stapelhöhen, Chipgrößen und Verbräuche sind aber nicht als womögliche Details der zukünftigen KI-Chips zu sehen, sondern eher als Zielvorgabe neuer Technologien und Aufgaben, die in den kommenden Jahren anstehen und die man als Forscher sieht.

Dabei orientierte man sich an den bekannten Fahrplänen der Hersteller, zum Beispiel für HBM4, nahm sich aber auch gezielt Produkte von NVIDIA und projizierte unter anderem den Aufbau zukünftiger KI-Beschleuniger.

Dabei werden auch einige interessante Zahlen veröffentlicht, die so bisher kaum genannt wurde. So geht man davon aus, dass alleine für den HBM4 pro Stack mit 36 und 48 GB eine Leistungsaufnahme von 43, bzw. 75 W aufgewendet werden muss. Die Rubin-GPU, die 2026 auf den Markt kommen soll, wird acht dieser Stacks verwenden, die allein schon auf eine Leistungsaufnahme von 344 W kommen.

Für die zukünftigen HBM-Generationen soll es dann ab HBM5 noch einmal eine Verdopplung der theoretischen Bandbreite geben und auch die Kapazitäten steigen weiter deutlich an. Dies gilt zudem für die Leistungsaufnahme, die schon bei 100 W pro HBM-Stack liegen soll. Über HBM6, HBM7 und HBM8 bis ins Jahr 2038 hinein sollen dann bis zu 240 GB pro HBM-Stack möglich sein. Zugleich aber steigt die Leistungsaufnahme und damit die Abwärme auf 180 W an. Nicht nur in der Versorgung der Beschleuniger wird dies zur Herausforderung, denn die 180 W sind am Ende auch Abwärme die abgeführt werden muss, was in einem vertikalen Stack aus Chips keine allzu leichte Aufgabe ist.

Ob und wenn ja in welcher Generation sich das Speicherinterface des HBM wieder verdoppeln wird, ow man mit den Kapazitäten landen wird etc. – das alles ist davon abhängig, wie sich die DRAM-, Stapel- und Packaging-Technik in den kommenden Jahren entwickeln werden.

Interessant ist außerdem, wie sich die Forscher die Entwicklung bei den Chips und dem gesamten Packaging in den kommenden Jahren vorstellen. Während bei den einzelnen Compute-Chips eine gewisse Stagnation in der Größe (durch das Rectile Limit und auch die Halbierung dessen mit dem Einsatz von High-NA EUV) erwartet wird, werden einfach mehr Compute-Chips zusammengesetzt und mit immer mehr HBM kombiniert.

Dies stellt eine Herausforderung im Packaging und der Herstellung des Interposers dar. Gerade hier gab es zuletzt Neuigkeiten für das CoWoS-L sowie ein vermeintliches CoPoS von TSMC, dass Interposer-Größen von 4.500 mm² und mehr ermöglichen soll. Bei CoPoS wird der Interposer auch nicht mehr auf den runden Wafern, sondern auf bereits rechteckigen Panelen gezogen, was die Fertigung effizienter gestaltet.

Auch hier sind die Projektionen zumindest einmal als ambitioniert zu bezeichnen. An dieser Stelle nimmt sich das KAIST Teralab NVIDIAs Zukunftspläne für das, was nach Feynman geplant ist. Bereits mit Rubin Ultra sollen vier Compute-Chiplets zum Einsatz kommen, ab Feynman dann kombiniert mit HBM5. Interposer-Größen von 4.500 mm² werden genannt, aber auch Verbräuche im Bereich von 4.000 W für das gesamte Package.

Für die weiteren Generationen werden dann HBM-Kapazitäten von 1,5 bis 2 TB bei Verbräuchen von 6 kW vorausgesagt. Ins Extreme getrieben ab 2035 sollen die einzelnen Compute-Chips auf jeweils 1.200 W kommen. Zusammen wären das bereits 6 kW. Hinzu kommen 32x 180 W des HBM7, was noch einmal fast 6 kW entspricht. Das theoretische Gesamtkonstrukt käme dann auf etwa 15 kW.

Um die angestrebten und hier gezeigten Ziele zu erreichen, müssen alle beteiligten Hersteller viel neues an Technologie entwickeln. Dies beginnt in der Fertigung jedes einzelnen Chips, dem Stapeln der DRAM-Schichten für den HBM, dessen Verdrahtung, dem gesamtem Packaging bis hin zu Kühlung.