Mit HBM4 anstatt GDDR7

Rubin CPX soll nun doch Anfang 2027 kommen

Bereits im vergangenen Jahr stellte NVIDIA mit dem Rubin CPX einen eigenen Beschleuniger für einen vergleichbaren Einsatzzweck vor. Der Rubin CPX setzt dabei auf eine Rubin-GPU mit einem GDDR7-Speicherinterface. Insgesamt sollen dem Beschleuniger 128 GB des schnellen Grafikspeichers zur Verfügung stehen.

Gemeinsam mit der Rubin-Plattform stellte NVIDIA auf der GTC 2026 auch die Groq 3 LPU als zusätzlichen Beschleuniger vor. Diese soll das Inferencing großer KI-Modelle mit umfangreichen Kontextfenstern effizienter gestalten. Für die Rubin-Generation ist dabei der LP30-Chip, auch als Groq 3 bezeichnet, vorgesehen. Mit Rubin Ultra soll anschließend bereits der auf das NVFP4-Format optimierte LP35 folgen.

Auffällig war jedoch, dass NVIDIA auf der diesjährigen GTC nicht mehr über Rubin CPX sprach. Damit stellt sich die Frage, ob der Beschleuniger möglicherweise bereits eingestellt wurde, bevor er überhaupt den Markt erreicht hat, oder ob seine ursprüngliche Aufgabe künftig durch die zusätzlichen Groq-Beschleuniger übernommen werden soll.

Offenbar hat NVIDIA den Fokus zunächst von Rubin CPX auf die Groq 3 LPU verlagert. Rubin CPX sei laut NVIDIA jedoch nicht eingestellt worden. Stattdessen soll eine entsprechende Lösung offenbar erst mit der Feynman-Generation wieder eine größere Rolle spielen.

Nun aber die Kehrtwende: Laut dem gut informierten Lieferketten-Analysten Ming-Chi Kuo soll Rubin CPX bereits im ersten Quartal 2027 ein konkretes Produkt werden. Anstatt 128 GB an GDDR7 sollen nun aber 168 GB an HBM4 verwendet werden. Dies dürfte auch ein komplett neues Chipdesign erfordern, da sich das Speicherinterface maßgeblich ändert.

Der wieder aufgegriffene Rubin CPX soll eine höhere Prefill-Leistung bieten und bringt sowohl bei den Spezifikationen der GPU als auch bei der Rack-Architektur umfangreiche Änderungen mit sich. Dies unterstreicht den hohen Stellenwert, den NVIDIA entsprechenden Lösungen für die Prefill-Verarbeitung beimisst.

Der neue CPX soll in einem eigenständigen MGX-ETL-Rack eingesetzt werden und damit nicht mehr gemeinsam mit Rubin-GPUs in einem Rack untergebracht sein, wie es beim vorherigen Konzept vorgesehen war. Je nach Anforderungen können Kunden Konfigurationen mit 64, 128, 192 oder 256 CPX-GPUs einsetzen. Innerhalb eines CPX-Racks bildet jeweils eine Gruppe aus 64 CPX-GPUs ein Rack-Modul. Dieses besteht aus acht Compute-Trays mit jeweils acht CPX-GPUs sowie einem Switch-Tray.

NVLink kommt dabei ausschließlich für die Scale-up-Anbindung der acht CPX-GPUs innerhalb eines Compute-Trays zum Einsatz. Pro CPX stehen dabei zwischen 1 und 1,5 TB/s an NVLink-Bandbreite zur Verfügung, während Rubin auf 3,6 TB/s kommt. Die Scale-out-Verbindung zwischen den einzelnen Trays innerhalb eines Rack-Moduls erfolgt über Spectrum-6-Ethernet und reine L1-Kupferverbindungen. Zwischen mehreren Rack-Modulen übernimmt der jeweilige Spectrum-6-Switch die Scale-out-Kommunikation über optische OSFP-Verbindungen.

CPX muss mit einem Vera Rubin NVL72-System kombiniert werden. NVIDIA empfiehlt dabei ein Verhältnis von 1:1 zwischen CPX- und Rubin-GPUs. Während CPX die Prefill-Verarbeitung übernimmt und den KV-Cache aufbaut, wird dieser anschließend per Ethernet RDMA an die Rubin-GPUs übertragen, welche die Decode-Phase der Inferenz ausführen.

Mehr als die Hälfte der heutigen KI-Inferenzlast soll auf die Verarbeitung des Eingabekontexts und den Aufbau des dazugehörigen KV-Caches entfallen. CPX soll die Prefill-Verarbeitung daher flexibler und kostengünstiger übernehmen können. Ein Compute-Tray mit acht CPX-GPUs verfügt über rund 1,34 TB HBM4-Speicher, was für die meisten Prefill-Aufgaben mit großen Kontextfenstern und den damit verbundenen Anforderungen an den KV-Cache ausreichend sein soll.