NVIDIA DGX Spark: Der KI-Mini-PC im Praxiseinsatz

[HWL News Bot]

NVIDIA verspricht mit dem DGX Spark nichts weniger als den "kleinsten KI‑Supercomputer der Welt". Grundlage ist der GB10‑Superchip mit integriertem Arm‑Prozessor und Blackwell‑GPU, dazu 128 GB an LPDDR5X‑Speicher, der CPU und GPU gemeinsam zur Verfügung steht. In Kombination mit NVFP4‑Präzision wirbt NVIDIA mit bis zu einem PetaFLOP an KI‑Leistung und der Möglichkeit, Sprachmodelle mit rund 70 Milliarden Parametern feinzutunen und Varianten mit bis zu etwa 200 Milliarden Parametern lokal für die Inferenz zu betreiben. Wir haben versucht, den DGX Spark in den Redaktionsalltag einzubinden und geschaut, an welcher Stelle eine lokale KI hier sinnvoll sein kann.
... weiterlesen

 

[aluis]

128GB klingt toll. Aber LPDDR5X ist nunmal kein GDDR7. Was bringt mir das tolle 80b Modell, wenn ich drei Minuten auf die Antwort warte? Da würde ich doch lieber die 100€/Monat für Claude ausgeben.

 

[Sir Diablo]

128GB klingt toll. Aber LPDDR5X ist nunmal kein GDDR7. Was bringt mir das tolle 80b Modell, wenn ich drei Minuten auf die Antwort warte? Da würde ich doch lieber die 100€/Monat für Claude ausgeben.

Datensouveränität "bringt" dir das.

Btw qwen3.5-122b-a10b läuft mit 50tps darauf. Was meinst du mit drei Minuten warten bei 80b?

 

[Shihatsu]

128GB klingt toll. Aber LPDDR5X ist nunmal kein GDDR7. Was bringt mir das tolle 80b Modell, wenn ich drei Minuten auf die Antwort warte? Da würde ich doch lieber die 100€/Monat für Claude ausgeben.

Sag mir das du das Produkt nicht verstanden hast ohne mir zu sagen das du das Produkt nicht verstanden hast...

 

[xdave78]

Sehr nice. Wir starten in unserem KMU gerade ein Projekt in Richtung CompanyGPT - dafür plane ich so ein Schnuckelchen einzusetzen bzw. hab es in das Lastenheft für die Dienstleistersuche getan. Für die zu erwartenden schätzungsweise 3-4 parallelen Nutzer maximal in unserem 60 Mitarbeiter Unternehmen ist das glaube ich der ideale usecase. Da hat das Unternehmen auf jeden Fall die volle Kostenkontrolle und das DGX ist wahrscheinlich nach nichtmal einem Jahr schon armortisiert. Auf die ersten 5 Jahre "an KI herantasten" und schauen was in einer industriellen Kleinserienfertigung damit rumkommt kann man damit glaube ich gut starten.
Das Teil kommt genau zur richtigen Zeit.

 

[HansBohne]

Aber die Modelle die auf dem DGX laufen können halt nicht mit den 200 Dollar Modellen mithalten - der Preisvergleich hinkt halt schon.
Auch wenn die kleinen besser werden es sind halt schon ein paar kleine Welten dazwischen.

 

[Soundwavext]

Aber die Modelle die auf dem DGX laufen können halt nicht mit den 200 Dollar Modellen mithalten - der Preisvergleich hinkt halt schon.
Auch wenn die kleinen besser werden es sind halt schon ein paar kleine Welten dazwischen.

Ich denke es kommt darauf an was man damit macht. Die lokale AI muss ja nicht zum Entwickeln genutzt werden, aber darauf könnte ein RAG System mit Firmendaten laufen, dass den Mitarbeitern zur Verfügung steht. Die Daten sind dann in der Firma und werden nicht am laufenden Band abgerufen. Kann man auch alles mit API machen, aber dann bekommt im Zweifel Chatgpt die Firma Daten mit. Für kleinere Firmen kann das also interessant sein, größere haben eh eigenen Server.

 

[HansBohne]

Aber auch solche eigenen RAG Systeme sind doch meist nur nachtrainierte / verfeinerte Systeme - dass irgendwo Systeme eingesetzt werde mit mit absolut nichts anfangen also einem komplett leeren Netz ist doch eher unwahrscheinlich. Das eigene RAG basiert dann auf einem extrem verstümmelten Ausgangssystem das man dann nachtrainiert / verfeinert.

Die grossen Open Weight NICHT Multimodalen haben ca 1,5 TByte (zumindest die Opensource uncompressed) man muss ganz grob 95% davon entfernen für den DGX bei multimodalen vielleicht dann 98%. Man kann halt nicht Informationen gezielt entfernern es ist am Ende des Tages die Rasenmähermethode.

Klar wenn man mit einem komplett leeren Netz beginnt dann ist DGX schon nicht verkehrt - bis auf die Geschwindigkeit, die ist halt wergen des RAMs überschaubar.

Ich sehe den Einsatzzweck halt eher sehr limititiert im Bereich F&E mit "0 Netzen" z.B. aber sicher im Normalfall nicht mal ansatzweise auf Niveau der 200 USD Modelle. Wenn man das mal mit den Preisen von z.AI vergleicht so eher im 2 bis 5 USD Bereich pro Monat - und glaub da bin ich schon grosszügig pro DGX

 

[pwnbert]

Naja is halt auch die Frage ob ein KI Modell jetzt so universell sein muss je nach Zweck...
Wenns nur um gewisse Themen geht... und eben die lokale Unabhängigkeit ein Thema ist... why not?

 

[HansBohne]

Ja aber woher bekommst Du denn ein Netz das nur auf gewisse Themen trainiert wurde wenn Du nicht ALLES von 0 auf selber trainierst sondern nur verfeinerst / nachtrainierst?

Die Realität ist halt doch solche Ausgangsnetze gibt es nicht. Einzig z.B. Multimodal ja/nein etc.

Natürlich kann man auch als Unternehmen jemand einstellen der keinen Schulabschluss geschafft hat und den zum bestbezahlten Mitarbeiter machen das ist möglich - why not - aber nur weil es möglich ist es dann sinnvoll? - und bei sinnvoll wird es halt schnell eng für den DGX - klar er ist nicht unbrauchbar aber am Ende super teuer in Relation zu den sehr eingeschränkte Möglichkeiten. Wenn das ausreicht ok.

Die "Cloud Modelle" werden "jeden Monat" besser mit dem DGX wird man immer weiter zurückfallen - ich unterstelle mal DGX Unternehmens Nutzer werden nicht permanenent nachtrainierern verfeinern.

Es ist ein sinnvolles Nischenprodukt aber halt kein wirklich guter AI Mitarbeiter auf dem Tisch - leider, denn das wäre halt cool gewesen und dann bin ich mir sicher hätten den einige hier - auch wenn er etwas mehr als eine 5090 kostet - viel ist es ja nicht.

Ich sage einfach das erste Mal wenn der heimische DGX komplett versagt und jedes 5 Euro Cloud Modell die Aufgabe perfekt löst macht man halt ein langes Gesicht - oder?

 

[pwnbert]

Tja, was hilft dir dein Cloude, wenn ein Donald, Elon oder sonst irgendwer mal die Laune hat, es dir abzudrehen?


Wer 2026 noch nicht so weit denken kann muss in einer ÖRR Bubble gefangen sein, und selbst da kommt man so ganz langsam drauf...

 

[HansBohne]

Na dann nutze ich China Modelle oder in Asien? oder VPN. Auch Indien wird massiv in den AI Markt einsteigen.

Szenarien wie ja und was machste denn, wenn Putin eine Atombombe abwirft deshalb dann sein Leben vorsorglich isoliert im Keller zu verbringen und auf alles zu verzichten ist halt kein Lebenseinstellung die ich lebenswert finde.

Wer nicht minimalste in der Eintrittswahrscheinlichkeit geringe Risiken eingeht verpasst halt das Leben - denn bei 90% der Dinge die doch eintreten gibt es immer eine Alternative dann.

Basisfunktionen funktionieren sicher auch immer mit einem "Thin Client" Kommt es zu extrem grossen Auseinandersetzungen kann ich halt dann nicht mehr GTA 9 mit AI spielen - aber Du konntest das noch nie mit deinem System daheim spielen? Ich verliere dann halt nur das, was ich zusätzlich hatte und falle dann auf Dein Heim PC Niveau zurück.

Oder meinst Du es gibt noch viele Softwarefirmen wenn Cloud Computing in der Masse da ist die für im Vergleich dann extrem superschwache und limitierte Heimsysteme was rausbringen?

Wenn der Zeitpunkt erreicht ist ist das dann so wie heute Software für einen 32 oder 16 bit PC entwickeln - macht halt auch vermutlich niemand mehr

 

[pwnbert]

Ich finde es nicht total daneben, etwas lokal rechnen zu können.
Vor allem, wenn die Hardware wirklich sparsam und klein und erschwinglich ist... der Kram läuft mit ner "Camping"-PV-Akku-Box 24/7...

Für den einen oder anderen Zweck ist das vllt. doch ausreichend, und lokale Modelle gibts, wenns Bedarf dafür gibt...
Gerade was "einfaches" wie irgendwelche text2text, text2voice, voice2text oder voice2voice Übersetzer... kann doch lokal laufen und sehrwohl nützlich sein?

Die 100%ige Abhängigkeit einer bestehenden Internet-Verbindung... naja... ich weiss nicht?

 

[HansBohne]

ja aber andererseits wieviele der Dienste braucht ein Unternehmen wenn es ohne Internet ist? dann geht meist nicht mal mehr Telefon das doch IP basiert.

Egal ob DGX im Unternehmen steht oder nicht ist die Internetverbindung tot - steht spätestens ab Mittelstand das Unternehmen meist eh ganz schön still.

Ob ein DGX mehr als 2-3 parallele Übersetzungen? eine bestimmt aber sicher nicht ganz Echtzeit.

Habe ich ja gesagt als Nischenprodukt ok aber viel mehr seh ich da nicht.