High Bandwidth Flash: SanDisk, SK Hynix und OCP wollen HBF zum Standard machen

[HWL News Bot]

Bereits im vergangenen Jahr stellte SanDisk den High Bandwidth Flash (HBF) als Alternative zum im KI-Bereich allgegenwärtigen HBM vor. Nun haben SK Hynix und SanDisk verkündet, HBF gemeinsam mit dem Open Compute Project (OCP) zu einem Standard zu machen, der für KI-Beschleuniger und schnelle SSDs genutzt werden soll.
... weiterlesen

 

[Botcruscher]

Hier fehlen Details. Flash als RAM zu verwenden ist eigentlich schon wegen der begrenzten Schreibzyklen eine ganz dumme Idee. Es gab also entweder ganz dolle technische Durchbrüche oder das KI Gedöns besteht (nahezu) nur aus Lesezugriffen.

 

[Zeitmangel]

Nein Andreas Das Zeug ist als ein Cache gedacht. Ein Lesepuffer. Das wird kein HBM ersetzen. Die Latenzen sind eh schon übel gegenüber DRAM. Allerdings hat das dann eine HBM-like, also brutale, Bandbreite. Da kann kein DRAM mithalten. Das ist der eine Vorteil. Der andere ist P/L seiner Größe. 14x so viel als HBM, in fast der Bandbreite von HBM, scheint zu reichen, damit man sich damit mal beschäftigt.
Muss sich halt nur zeigen was es real bringt.

@Botcrusher
Das ist weniger für Training und eher für Inferencing. Wenn der Token dann nur die Hälfte an Energie verbraucht und doppelt so schnell ist, dann lohnt das irgendwie
(Inferencing verursacht massiv weniger Schreibzugriffe)