GB10 Grace Blackwell Superchip: Mit 6.144 Shadereinheiten auf Niveau der GeForce RTX 5070

[HWL News Bot]

Noch vor wenigen Tagen stellte Lenovo mit der ThinkStation PGX einen kompakten Mini-PC auf Basis des GB10 Grace Blackwell Superchips von NVIDIA vor und sicherlich werden wir zu diesem Thema auch noch viel mehr auf der Computex hören.
... weiterlesen

 

[Holt]

Wozu braucht man sowas? Billig dürfte die Kiste ja nicht gerade sein.

 

[jdl]

Der Haupteinsatzzweck ist das Entwickeln von Software (DGX Spark von nVidias kostet ca. €3k als Einzelsystem und ca. €6k als Doppelsystem), da es ebenfalls über eine ARM CPU verfügt. Dann kann man auf dem System kleinere Inferenzanwendungen direkt laufen lassen. Dank des unified Memories sind diese kleinen Anwendungen gar nicht mal so klein. Gerade die Gaming-Karte verfügen über sehr viel weniger Speicher. Der Vorteil eines solchen Systems ist, dass nVidia gleich den kompletten Softwarestack mitliefert (DGX OS eine angepasste Ubuntu LTS mit nVidia Softwarestack on top). Willst Du ein ARM System selbst aufbauen, brauchst Du effektiv ein Ampere Altra (Max) oder ein Ampere One Serverboard. ASRockRack bietet welche an, die in ein Desktopgehäuse passen. Dann musst Du darin eine nVidia GPU verbauen und Linux darauf installieren. Ubuntu LTS Server Aarch64 ist wegen des direkten Supports von nVidia für diese Distro eine sinnvolle Wahl. Fertig aufgebaut kannst Du von verschiedenen Händlern solche Systeme kaufen. Billiger ist das nicht. Ubuntu LTS, CUDA und das HPC-Paket gibt es kostenfrei. Der AI Stack muss bei nVidia für teuer Geld zugekauft werden.

Dann hat nVidia bekräftigt, dass es bald eine neue DGX Station geben wird. Da wird eine GB300 CPU+GPU-Kombination verbaut sein. Die alten DGX Station kostete >€100k. Mal sehen wie teuer die neue sein wird.

 

[Holt]

Also ich halte wenig von der ganzen KI Hype. AI ist für bestimmte Aufgaben durchaus sinnvoll, aber generelle Modelle wie ChartGPT sind totaler Mist und fantasieren sich immer wieder zusammen oder Lügen direkt. Damit kann man Leute beeindrucken die keine Ahnung haben, aber wer sich in einem Thema auskennt, kann mit dem Mist nichts anfangen. Aber KI ist eben die nächste Sau die nach der Blockchain nun durchs Dorf getrieben wird und beide machen NVida reich und verbrauchen nur sinnlos Resourcen, vor allem viel Strom.

 

[jdl]

Also ich halte wenig von der ganzen KI Hype.

Das hat aber wenig mit der Eignung des Systems zu tun.

Nur mal als Vergleich ein Mac mini M4Pro kostet in halbwegs vergleichbarer Ausstattung über >€4,3k und verfügt über weniger RAM (nur 64GB statt 128GB), die gleiche SSD Größe schlechteres Ethernet (nur 10GbE statt 2×200GbE + 10GbE RJ45). Das ist eine recht potente kompakte Linux Workstation. Windows scheitert halt an den fehlenden Treibern.

 

[Medi Terraner]

Man muss sich nur mal anschauen, was für einen Mist die neuen KI-Modelle generieren. Es wird stellenweise schon von Halluzinationen gesprochen.

 

[Holt]

So wie ich nichts von KI halte, halte ich auch nicht von angebissenen Äpfeln, die sind sowieso total überteuert. Die Kosten anderer Hardware damit zu vergleichen, ist also recht sinnlos.

 

[jdl]

So wie ich nichts von KI halte, halte ich auch nicht von angebissenen Äpfeln, die sind sowieso total überteuert. Die Kosten anderer Hardware damit zu vergleichen, ist also recht sinnlos.

Auch andere kompakte Workstations von Dell, HP, Lenovo sind da tendenziell teurer: Lenovo P3 Ultra.

 

[Luebke]

KI + Sparchassistent sind wichtige Bausteine für die Zukunft. Die Zeit des "googelns" neigt sich ihrem Ende. Und ganz im Ernst: was man konventionell für Infos findet, da ist noch viel mehr Schrott dabei als was eine KI so ausspuckt. Klar sollte man einer KI nicht blind vertrauen, aber das sollte man auch bei keiner anderen Quelle. Nicht Google, nicht Wikipedia und schon gar nicht (A-)Sozialen Medien. Wenn man mit einer KI gescheit umgehen kann, ist sie ein großartiges Hilfsmittel. Sie nimmt einem aber nicht das denken ab. Eine KI ist ein Werkzeug, nicht mehr und nicht weniger. Umgehen können muss man damit wie mit jeder anderen Software auch.
Und ja, die ist Stand heute noch sehr stromhungrig. Ich habe versuchsweise eine Offline-KI (GPT4ALL mit EM German Mistral) auf einem Ryzen 5 7520U laufen. Der hat ordentlich zu knabbern. Aber wir stehen ja auch erst ganz am Anfang der Entwicklung, das sollte man nicht vergessen.

Beitrag automatisch zusammengeführt: Gestern um 14:58

Man muss sich nur mal anschauen, was für einen Mist die neuen KI-Modelle generieren. Es wird stellenweise schon von Halluzinationen gesprochen.

Das liegt zum einen an dem Ausgangsmaterial, das aus unterschiedlichsten Datenquellen zusammengestrickt wurde, zum anderen kann es auch mal Probleme im Algorythmus geben, die erst noch gelöst werden müssen. Wie gesagt, wir fangen gerade erst an mit KI. Da sofort Perfektion zu erwarten ist wohl nicht sehr realitätsnah. Wenn man aber versteht was eine KI kann und was sie nicht kann, kann man sich das Leben damit schon heute leichter machen.

 

[hwk]

Man muss sich nur mal anschauen, was für einen Mist die neuen KI-Modelle generieren. Es wird stellenweise schon von Halluzinationen gesprochen.

Das hängt immer davon ab, wie sie eingestellt sind...

Was ist die Temperatur? - All About AI

Was ist die Temperatur in KI? Erfahren Sie mehr über ihre Auswirkungen auf die Ausgabequalität und Anwendungen in Sprachmodellen wie ChatGPT und Bard.

www.allaboutai.com