[Kaufberatung] Low Budget AI Computer [in Serverschrank]

[Magneti]

Hallo,

kennt sich jemand aus bzgl. Komponenten für einen Computer, mit dem sich LLMs (gpt-oss, deepseek, llama) in den Größenordnungen 20b-120b effizient betreiben lassen im Sinne von schnell?
Nach meinem Kenntnisstand ist die Grafikkarte und deren RAM entscheidend. Je mehr RAM, destro größere Modelle lassen sich reinladen um schnelle Ergebnisse zum Prompt zu erhalten.

Budget: vorerst 2000€ (später erweiterbar auf 6000€), das reicht vermutlich erstmal nur für eine Karte im ~800€ Bereich und nicht gleich Schwergewichte wie eine RTX 5090 32GB

Aufgaben: keine Bilderstellung, Bildanalyse, oder Videogenerierung, sondern
- Dokumentverarbeitung (Text/Dokument Analyse, OCR, Klassifikation, Zusammenfassung, Daten extrahieren in einheitlichen Schemata)
- Agentic AI / tooling
Im Prinzip geht es nur um Automatisierung von Prozessen.

Meine bisherige Auswahl an Hardware, in Summe aktuell über dem Budget:
Mainboard: ASUS TUF Gaming B850-Plus
CPU: AMD Ryzen 7 9800X3D
GPU: ? (PowerColor Hellhound Radeon RX 7900 XTX, 24GB GDDR6), wobei sich nVIDIA Karten wegen CUDA besser eignen
RAM: ? (Kingston FURY Beast schwarz UDIMM 64GB Kit)
Netzteil: be quiet! Pure Power 12 M 850W ATX 3.1
Speicher: Lexar Professional NM710 1TB, M.2 2280
Gehäuse: ? -> Der Computer soll in einen Serverschrank integriert werden.

Lohnt sich der Selbstbau oder eher gleich auf eine Fertiglösung setzen wie nVIDIA DGX Spark, ASUS Ascent, etc.?
Was für eine Hardware würdet Ihr anpeilen?

Vielen Dank für eure Hilfe.

Grüße

 

[mawel]

Keine Ahnung ob es auf Deinen Anwendungsfall zutrifft, aber Strix Halo ist keine Alternative?

AMD Strix Halo Mini-PC schlägt NVIDIAs 4.000-Dollar-DGX Spark beim Preis-Leistungs-Verhältnis deutlich | igor´sLAB

NVIDIAs DGX Spark wurde als kompaktes Supercomputing-System für lokale KI-Aufgaben vorgestellt und gilt als erster Versuch des Unternehmens, High-End-KI-Leistung in ein kleineres…

www.igorslab.de

128GB unified Memory gibts halt nirgends günstiger.

Von Intel gäbe es ja noch die B60 mit 24GB, die sich zudem mit weiteren Karten unter Linux zu einem Cluster verbinden lassen soll... Dürfte im Rack wesentlich kühler bleiben als eine RX 7900 XTX...

 

[Magneti]

Super Idee!
Witzig, dass der Artikel genau heute erschienen ist.
Der neue Mini-PC von GMKTec scheint auch diesen Bosgame M5 AI zu schlagen. Der von GMKTec kostet allerdings 2.000€ und der von Bosgame 1.600€

 

[pwnbert]

Die Sache erfordert wsl. mehr Recherche als dir lieb ist.


Höchstwahrscheinlich ist der Ansatz einer "erweiterten Gaming Kiste" nicht optimal, hängt aber davon ab, was du machen magst.

 

[Schmufix]

die budget version sind mehrere RTX 3060 mit 12GB oder eben (gebrauchte) 3090

 

[ZockerZentrale]

Eine gebrauchte RTX 3090 ist aktuell die günstigste Möglichkeit ~ 500–700 €, mit viel VRAM (24 GB) und mit CUDA‑Support zu bekommen.

eBay Kleinanzeigen ist jetzt Kleinanzeigen | Kleinanzeigen

Kleinanzeigen: Rtx 3090 - Jetzt finden oder inserieren! - kleinanzeigen.de

www.kleinanzeigen.de

Quelle bestätigt:
RTX 3090 (24 GB) → bis 13B komfortabel, 30B nur mit 4‑Bit Quantisierung.
Für größere Modelle (70B+) brauchst du mindestens 48 GB VRAM usw.........................

Is the GeForce RTX 3090 Good for Running LLMs?

Find out if the GeForce RTX 3090 GPU is suitable for running local AI models, including large language models (LLMs) via LMStudio.

www.techreviewer.com

 

[Magneti]

Die Sache erfordert wsl. mehr Recherche als dir lieb ist.


Höchstwahrscheinlich ist der Ansatz einer "erweiterten Gaming Kiste" nicht optimal, hängt aber davon ab, was du machen magst.

Ein Problem ist, abzuschätzen, was an Leistung für die zu bewältigenden Aufgaben notwendig ist. Ein Indikator davon sind die Modellparameter, welche Rückschlüsse auf die Qualität der Rückgabe zulassen.
Das konnte ich aus Tests auf älterer Hardware ableiten.
Es ist ein Mix aus Prompt-Qualität, Anzahl Parameter, . Im Weiteren kann es auch sein, dass durch die zu bewältigenden Aufgaben das Modell zusätzlich lernt und damit die Aufgaben immer besser bewältigen kann. Oder unterstütztend mit Annotation-Tools qualitative Datasets aufbauen.
Meine bisherigen Recherchen führen zu unterschiedlichen Ergebnissen, weil es soviele Wege bzw. Stellschrauben gibt.

Eine gebrauchte RTX 3090 ist aktuell die günstigste Möglichkeit ~ 500–700 €, mit viel VRAM (24 GB) und mit CUDA‑Support zu bekommen.

eBay Kleinanzeigen ist jetzt Kleinanzeigen | Kleinanzeigen

Kleinanzeigen: Rtx 3090 - Jetzt finden oder inserieren! - kleinanzeigen.de

www.kleinanzeigen.de

Quelle bestätigt:
RTX 3090 (24 GB) → bis 13B komfortabel, 30B nur mit 4‑Bit Quantisierung.
Für größere Modelle (70B+) brauchst du mindestens 48 GB VRAM usw.........................

Is the GeForce RTX 3090 Good for Running LLMs?

Find out if the GeForce RTX 3090 GPU is suitable for running local AI models, including large language models (LLMs) via LMStudio.

www.techreviewer.com

Was an dem Mini-PC von GMKTec so interessant ist, sind eben die 128GB und wie eng die CPU+GPU verzahnt ist. Das hört sich fast optimierter und auf KI ausgerichtet an, als eine Selbstbau-Lösung. Allerdings ist das dann nicht upgradebar.
Das mit der gebrauchten Karte ist eine gute Idee.

 

[pwnbert]

Fürn Anfang wirds reichen eine 3090 in irgend eine Popelhardware zu stecken, ab Sandy/Ivy Bridge dann imho schon gut dabei (naja, vllt. Haswell für nvme Support und so), ab Zen 1 reicht bestimmt... 32gb DDR3 dürften leistbar sein, lol...

SSD sollte halt nicht zu scheiße sein, weil du die Modelle von dort in die GPU laden musst. Dauert bei 20gb dann halt auch ne Minute, wenns von ner SATA SSD kommt.


Das wird wohl die günstigste Möglichkeit sein an halbwegs großen VRAM mit CUDA zu kommen um erste Erfahrungen zu sammeln... diese Ryzen AI Dinger haben zwar viel RAM, von denen einiges als VRAM zu verwenden ist (nachschauen wie viel!), der ist aber im vgl. zum RAM der GPU schon ziemlich lahm...
3060Ti ist nochmal billiger, aber mit 12gb wirst nicht happy werden...

Gehäuse irgendwas... 4 HE muss es in jedem Fall sein, große Lüfter sollten rein passen, normales ATX Netzteil ebenso.... gibts relativ günstig. Auf Hot Swap Einschübe würde ich verzichten, auch wenns so schön pro-like wirkt, in billiger Ausführung macht das wsl. mehr Probleme als es löst und kostet dabei noch Geld.

 

[ZockerZentrale]

Was an dem Mini-PC von GMKTec so interessant ist, sind eben die 128GB und wie eng die CPU+GPU verzahnt ist. Das hört sich fast optimierter und auf KI ausgerichtet an, als eine Selbstbau-Lösung. Allerdings ist das dann nicht upgradebar.

Der GMKtec mit 128 GB Unified Memory sieht erstmal stark aus. Aber man sollte wissen: Unified Memory ist langsamer als echtes GPU‑VRAM, das zeigen viele Testberichte. Wenn dir die Geschwindigkeit egal ist, kannst du damit große Modelle laden. Willst du aber schnelle Ergebnisse, ist eine richtige GPU die bessere Wahl.

 

[pwnbert]

Joa, der Tip mit der 3090 ist nicht so verkehrt finde ich, irgend ne gut abgehangene günstige Hardware zusammenstoppeln damit und reale Erfahrung sammeln.

Dann merkt man ja, wo es klemmt. Den größten Wertverlust hat die 3090 wohl hinter sich.
Imho muss auch der Rest nicht besonders schnell sein. Noch nicht mal die PCIe Link Speed... die muss nur so groß sein, dass du die Daten von der SSD zügig rein bekommst.

RAM ist noch nicht mal so das Thema, sobald du VRAM und RAM swappen musst, hast eh verloren.
CPU eigentlich auch nicht.

Wenn du irgendwas über hast, so Zen 1-3 oder Intel Gen ~7-12, bist schon gut dabei... so ein 6-Core reicht bestimmt erstmal, das ist gar nicht so das Thema, wsl. sogar ein 4-Core.

 

[Magneti]

Aber seht Ihr AMD Grafikkarten im KI Bereich (ROCm) auch als Leistungsstark an oder ist dieses CUDA fast unschlagbar?
Z.B. wenn es auch in Richtung selbstlernen geht?

Ich hab als erste Testhardware folgende Zusammenstellung erstellt und versuche, diese gebraucht zu kaufen:
GPU: RTX 3090 mit 24GB
CPU: AMD Ryzen 5 3600 3.6 GHz 6-Core Processor
CPU-Kühler: notwendig?
Gehäuse: notwendig?
RAM: Corsair Vengeance LPX 32 GB (2 x 16 GB) DDR4-3200 CL16 Memory
Netzteil: Corsair RM650e (2025) 650 W Fully Modular ATX Power Supply
Speicher: Western Digital WD_Black SN850X 1 TB M.2-2280 PCIe 4.0 X4 NVME Solid State Drive oder die Samsung Evo
Board: MSI MPG B550 GAMING PLUS ATX AM4 Motherboard

Meinungen?

 

[ZockerZentrale]

Ich hab als erste Testhardware folgende Zusammenstellung erstellt und versuche, diese gebraucht zu kaufen:
GPU: RTX 3090 mit 24GB
CPU: AMD Ryzen 5 3600 3.6 GHz 6-Core Processor
CPU-Kühler: notwendig?
Gehäuse: notwendig?
RAM: Corsair Vengeance LPX 32 GB (2 x 16 GB) DDR4-3200 CL16 Memory
Netzteil: Corsair RM650e (2025) 650 W Fully Modular ATX Power Supply
Speicher: Western Digital WD_Black SN850X 1 TB M.2-2280 PCIe 4.0 X4 NVME Solid State Drive oder die Samsung Evo
Board: MSI MPG B550 GAMING PLUS ATX AM4 Motherboard

Meinungen?

Solider Einstieg für dein Vorhaben, NVIDIA‑CUDA bleibt aktuell fast unschlagbar wegen seiner breiten Unterstützung.

ID-Cooling Frozn A620 Pro SE ab € 19,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ID-Cooling Frozn A620 Pro SE ✔ Produktinfo ⇒ Bauart: Tower-Kühler (Dual-Tower) • Abmessungen mit Lüfter: 120x157x142mm (BxHxT) • Lüfter: 2x 120x120x25… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Hat 2 Lüfter verbaut.

be quiet! Pure Base 501 Airflow Window Black ab € 76,99 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Base 501 Airflow Window Black ✔ Bewertungen ✔ Produktinfo ⇒ Gehäusetyp: Midi-Tower • Volumen: 48.13l 231x463x450mm (BxHxT) • Mainboard: bis ATX Unterstützte Mainboar… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

be quiet! Pure Wings 3 PWM, 140mm (BL108) ab € 10,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Wings 3 PWM, 140mm (BL108) ✔ Bewertungen ✔ Produktinfo ⇒ Lüfteranschluss: 4-Pin PWM (46cm) • Abmessungen: 140x140x25mm (BxHxT) • Drehzahl: 1200rpm • Luftdurchsatz… ✔ Lüfter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

4 Lüfter vorhanden, RGB kann man abklemmen bzw. abstellen.

Fractal Design Pop XL Air RGB Black TG Clear Tint ab € 86,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Fractal Design Pop XL Air RGB Black TG Clear Tint ✔ Bewertungen ✔ Produktinfo ⇒ Gehäusetyp: Midi-Tower • Volumen: 62.43l 230x520x522mm (BxHxT) • Mainboard: bis ATX (279mm breit) Unterst… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[Magneti]

RAM ist noch nicht mal so das Thema, sobald du VRAM und RAM swappen musst, hast eh verloren.
CPU eigentlich auch nicht.

Also reichen vermutlich auch 16GB normaler RAM?

 

[pwnbert]

Schwer zu sagen, ich habs nie mit so wenig RAM gemacht.
Wenn du den RAM noch hast und nicht kaufen musst, probiers aus.
Ehrlich gesagt weiss ich nicht, ob direkt von der SSD in den VRAM geladen wird, oder inwiefern das "vorher durch den RAM muss"...

Wahrscheinlich sollte es reichen.

Ich weiss nicht, hast du noch einen alten PC?
Dann steck ne 3090 rein und schau wies läuft.