Hallo,
kennt sich jemand aus bzgl. Komponenten für einen Computer, mit dem sich LLMs (gpt-oss, deepseek, llama) in den Größenordnungen 20b-120b effizient betreiben lassen im Sinne von schnell?
Nach meinem Kenntnisstand ist die Grafikkarte und deren RAM entscheidend. Je mehr RAM, destro größere Modelle lassen sich reinladen um schnelle Ergebnisse zum Prompt zu erhalten.
Budget: vorerst 2000€ (später erweiterbar auf 6000€), das reicht vermutlich erstmal nur für eine Karte im ~800€ Bereich und nicht gleich Schwergewichte wie eine RTX 5090 32GB
Aufgaben: keine Bilderstellung, Bildanalyse, oder Videogenerierung, sondern
- Dokumentverarbeitung (Text/Dokument Analyse, OCR, Klassifikation, Zusammenfassung, Daten extrahieren in einheitlichen Schemata)
- Agentic AI / tooling
Im Prinzip geht es nur um Automatisierung von Prozessen.
Meine bisherige Auswahl an Hardware, in Summe aktuell über dem Budget:
Mainboard: ASUS TUF Gaming B850-Plus
CPU: AMD Ryzen 7 9800X3D
GPU: ? (PowerColor Hellhound Radeon RX 7900 XTX, 24GB GDDR6), wobei sich nVIDIA Karten wegen CUDA besser eignen
RAM: ? (Kingston FURY Beast schwarz UDIMM 64GB Kit)
Netzteil: be quiet! Pure Power 12 M 850W ATX 3.1
Speicher: Lexar Professional NM710 1TB, M.2 2280
Gehäuse: ? -> Der Computer soll in einen Serverschrank integriert werden.
Lohnt sich der Selbstbau oder eher gleich auf eine Fertiglösung setzen wie nVIDIA DGX Spark, ASUS Ascent, etc.?
Was für eine Hardware würdet Ihr anpeilen?
Vielen Dank für eure Hilfe.
Grüße
kennt sich jemand aus bzgl. Komponenten für einen Computer, mit dem sich LLMs (gpt-oss, deepseek, llama) in den Größenordnungen 20b-120b effizient betreiben lassen im Sinne von schnell?
Nach meinem Kenntnisstand ist die Grafikkarte und deren RAM entscheidend. Je mehr RAM, destro größere Modelle lassen sich reinladen um schnelle Ergebnisse zum Prompt zu erhalten.
Budget: vorerst 2000€ (später erweiterbar auf 6000€), das reicht vermutlich erstmal nur für eine Karte im ~800€ Bereich und nicht gleich Schwergewichte wie eine RTX 5090 32GB
Aufgaben: keine Bilderstellung, Bildanalyse, oder Videogenerierung, sondern
- Dokumentverarbeitung (Text/Dokument Analyse, OCR, Klassifikation, Zusammenfassung, Daten extrahieren in einheitlichen Schemata)
- Agentic AI / tooling
Im Prinzip geht es nur um Automatisierung von Prozessen.
Meine bisherige Auswahl an Hardware, in Summe aktuell über dem Budget:
Mainboard: ASUS TUF Gaming B850-Plus
CPU: AMD Ryzen 7 9800X3D
GPU: ? (PowerColor Hellhound Radeon RX 7900 XTX, 24GB GDDR6), wobei sich nVIDIA Karten wegen CUDA besser eignen
RAM: ? (Kingston FURY Beast schwarz UDIMM 64GB Kit)
Netzteil: be quiet! Pure Power 12 M 850W ATX 3.1
Speicher: Lexar Professional NM710 1TB, M.2 2280
Gehäuse: ? -> Der Computer soll in einen Serverschrank integriert werden.
Lohnt sich der Selbstbau oder eher gleich auf eine Fertiglösung setzen wie nVIDIA DGX Spark, ASUS Ascent, etc.?
Was für eine Hardware würdet Ihr anpeilen?
Vielen Dank für eure Hilfe.
Grüße