HBM4, C-HBM4 und SPHBM4

Weitere Variante reduziert Breite des Speicherinterface

Ab dem kommenden Jahr werden alle neuen KI-Beschleuniger auf den schnelleren HBM4 setzen. Dieser erhöht nicht nur die Speicherbandbreite im Vergleich zum HBM3E, sondern auch in der Kapazität werden die Beschleuniger noch einmal deutlich zulegen. So werden die Instinct-MI400-Beschleuniger von AMD auf 432 GB an Kapazität und eine Speicherbandbreite von 19,6 TB/s kommen. In ähnliche Dimensionen wird NVIDIA mit der Rubin-Generation vorstoßen, wenngleich man sich hier noch nicht konkret zu Kenngrößen äußern wollte.

Mit der HBM4-Generation wird es aber auch größere Änderungen im Aufbau der Speicherarchitektur geben. Der Grund dafür ist das in der Standardausführung von 1.024 auf 2.048 Bit verbreiterte Speicherinterface. Damit kommt ein HBM4-Speicherstack auf 11 GBit/s, was fast 40 % über der JEDEC-Vorgabe für HBM4 liegt. AMD und NVIDIA haben offenbar Druck auf die Speicherhersteller gemacht und so waren diese bemüht, den Takt der DRAM-Stacks weiter zu erhöhen – zunächst auf 10 GBit/s und nun für die ersten finalen Samples auf 11 GBit/s.

Das breitere Speicherinterface sorgt dafür, dass die Integration des HBM4 deutlich komplexer wird. Typischerweise erfolgt diese mittels eines Silizium-Substrats.

Die JEDEC hat nun die Spezifikationen eines SPHBM4-Standards vorbereitet. Die Abkürzung steht für Standard Package High Bandwidth Memory. Für diesen SPHBM4 reduziert die JEDEC die Breite des Speicherinterface von 2.048 auf 512 Bit. Mittels 4:1-Serialisierung wird jedoch sichergestellt, dass die gleiche Bandbreite erreicht wird. Die Änderung von 2.048 auf 512 Bit in der Breite ermöglicht den für die Verbindung mit organischen Substraten erforderlichen entspannten Bump-Abstand. Dies sollte sich positiv auf die Kosten auswirken.

Ein weiterer Vorteil der Verwendung eines organischen Substrats ist die Verwendung einer größeren Distanz zwischen dem Compute-Chiplet zum Speicher. Dadurch kann die Gesamtzahl der SPHBM4-Stapel und damit die Gesamtspeicherkapazität potenziell erhöht werden.

Aber es dürfte auch Nachteile in der Umsetzung von SPHBM4 geben. So dürften die Latenzen etwas höher sein.

C-HBM4 verlegt den Speichercontroller in den Stack

Mit HBM4 wird allerdings nicht nur das Packaging immer komplexer, sondern auch die Herstellung des HBM selbst. So werden die HBM-Hersteller den kompletten Speicherstapel nicht mehr selbst fertigen können. Die DRAM-Schichten natürlich schon. So wird Micron diese in 1β (1-beta) fertigen. Für HBM3(E) ist die Gleichheit in der Fertigung von DRAM- und Base-Die der Fall.

Mit HBM4 hingegen werden die Speicherhersteller den Base-Die wohl beispielsweise bei TSMC fertigen müssen. Für HBM4 sprach TSMC kürzlich vom N12-Prozess. C-HBM4E wird dann sogar auf N3P gehen können und neben dem physikalischen Speicherinterface soll auch der Speichercontroller in den Base-Die wandern.