[Kaufberatung] Low Budget AI Computer [in Serverschrank]

[Magneti]

Hallo,

kennt sich jemand aus bzgl. Komponenten für einen Computer, mit dem sich LLMs (gpt-oss, deepseek, llama) in den Größenordnungen 20b-120b effizient betreiben lassen im Sinne von schnell?
Nach meinem Kenntnisstand ist die Grafikkarte und deren RAM entscheidend. Je mehr RAM, destro größere Modelle lassen sich reinladen um schnelle Ergebnisse zum Prompt zu erhalten.

Budget: vorerst 2000€ (später erweiterbar auf 6000€), das reicht vermutlich erstmal nur für eine Karte im ~800€ Bereich und nicht gleich Schwergewichte wie eine RTX 5090 32GB

Aufgaben: keine Bilderstellung, Bildanalyse, oder Videogenerierung, sondern
- Dokumentverarbeitung (Text/Dokument Analyse, OCR, Klassifikation, Zusammenfassung, Daten extrahieren in einheitlichen Schemata)
- Agentic AI / tooling
Im Prinzip geht es nur um Automatisierung von Prozessen.

Meine bisherige Auswahl an Hardware, in Summe aktuell über dem Budget:
Mainboard: ASUS TUF Gaming B850-Plus
CPU: AMD Ryzen 7 9800X3D
GPU: ? (PowerColor Hellhound Radeon RX 7900 XTX, 24GB GDDR6), wobei sich nVIDIA Karten wegen CUDA besser eignen
RAM: ? (Kingston FURY Beast schwarz UDIMM 64GB Kit)
Netzteil: be quiet! Pure Power 12 M 850W ATX 3.1
Speicher: Lexar Professional NM710 1TB, M.2 2280
Gehäuse: ? -> Der Computer soll in einen Serverschrank integriert werden.

Lohnt sich der Selbstbau oder eher gleich auf eine Fertiglösung setzen wie nVIDIA DGX Spark, ASUS Ascent, etc.?
Was für eine Hardware würdet Ihr anpeilen?

Vielen Dank für eure Hilfe.

Grüße

 

[mawel]

Keine Ahnung ob es auf Deinen Anwendungsfall zutrifft, aber Strix Halo ist keine Alternative?

AMD Strix Halo Mini-PC schlägt NVIDIAs 4.000-Dollar-DGX Spark beim Preis-Leistungs-Verhältnis deutlich | igor´sLAB

NVIDIAs DGX Spark wurde als kompaktes Supercomputing-System für lokale KI-Aufgaben vorgestellt und gilt als erster Versuch des Unternehmens, High-End-KI-Leistung in ein kleineres…

www.igorslab.de

128GB unified Memory gibts halt nirgends günstiger.

Von Intel gäbe es ja noch die B60 mit 24GB, die sich zudem mit weiteren Karten unter Linux zu einem Cluster verbinden lassen soll... Dürfte im Rack wesentlich kühler bleiben als eine RX 7900 XTX...

 

[Magneti]

Super Idee!
Witzig, dass der Artikel genau heute erschienen ist.
Der neue Mini-PC von GMKTec scheint auch diesen Bosgame M5 AI zu schlagen. Der von GMKTec kostet allerdings 2.000€ und der von Bosgame 1.600€

 

[pwnbert]

Die Sache erfordert wsl. mehr Recherche als dir lieb ist.


Höchstwahrscheinlich ist der Ansatz einer "erweiterten Gaming Kiste" nicht optimal, hängt aber davon ab, was du machen magst.

 

[Schmufix]

die budget version sind mehrere RTX 3060 mit 12GB oder eben (gebrauchte) 3090

 

[ZockerZentrale]

Eine gebrauchte RTX 3090 ist aktuell die günstigste Möglichkeit ~ 500–700 €, mit viel VRAM (24 GB) und mit CUDA‑Support zu bekommen.

eBay Kleinanzeigen ist jetzt Kleinanzeigen | Kleinanzeigen

Kleinanzeigen: Rtx 3090 - Jetzt finden oder inserieren! - kleinanzeigen.de

www.kleinanzeigen.de

Quelle bestätigt:
RTX 3090 (24 GB) → bis 13B komfortabel, 30B nur mit 4‑Bit Quantisierung.
Für größere Modelle (70B+) brauchst du mindestens 48 GB VRAM usw.........................

Is the GeForce RTX 3090 Good for Running LLMs?

Find out if the GeForce RTX 3090 GPU is suitable for running local AI models, including large language models (LLMs) via LMStudio.

www.techreviewer.com

 

[Magneti]

Die Sache erfordert wsl. mehr Recherche als dir lieb ist.


Höchstwahrscheinlich ist der Ansatz einer "erweiterten Gaming Kiste" nicht optimal, hängt aber davon ab, was du machen magst.

Ein Problem ist, abzuschätzen, was an Leistung für die zu bewältigenden Aufgaben notwendig ist. Ein Indikator davon sind die Modellparameter, welche Rückschlüsse auf die Qualität der Rückgabe zulassen.
Das konnte ich aus Tests auf älterer Hardware ableiten.
Es ist ein Mix aus Prompt-Qualität, Anzahl Parameter, . Im Weiteren kann es auch sein, dass durch die zu bewältigenden Aufgaben das Modell zusätzlich lernt und damit die Aufgaben immer besser bewältigen kann. Oder unterstütztend mit Annotation-Tools qualitative Datasets aufbauen.
Meine bisherigen Recherchen führen zu unterschiedlichen Ergebnissen, weil es soviele Wege bzw. Stellschrauben gibt.

Eine gebrauchte RTX 3090 ist aktuell die günstigste Möglichkeit ~ 500–700 €, mit viel VRAM (24 GB) und mit CUDA‑Support zu bekommen.

eBay Kleinanzeigen ist jetzt Kleinanzeigen | Kleinanzeigen

Kleinanzeigen: Rtx 3090 - Jetzt finden oder inserieren! - kleinanzeigen.de

www.kleinanzeigen.de

Quelle bestätigt:
RTX 3090 (24 GB) → bis 13B komfortabel, 30B nur mit 4‑Bit Quantisierung.
Für größere Modelle (70B+) brauchst du mindestens 48 GB VRAM usw.........................

Is the GeForce RTX 3090 Good for Running LLMs?

Find out if the GeForce RTX 3090 GPU is suitable for running local AI models, including large language models (LLMs) via LMStudio.

www.techreviewer.com

Was an dem Mini-PC von GMKTec so interessant ist, sind eben die 128GB und wie eng die CPU+GPU verzahnt ist. Das hört sich fast optimierter und auf KI ausgerichtet an, als eine Selbstbau-Lösung. Allerdings ist das dann nicht upgradebar.
Das mit der gebrauchten Karte ist eine gute Idee.

 

[pwnbert]

Fürn Anfang wirds reichen eine 3090 in irgend eine Popelhardware zu stecken, ab Sandy/Ivy Bridge dann imho schon gut dabei (naja, vllt. Haswell für nvme Support und so), ab Zen 1 reicht bestimmt... 32gb DDR3 dürften leistbar sein, lol...

SSD sollte halt nicht zu scheiße sein, weil du die Modelle von dort in die GPU laden musst. Dauert bei 20gb dann halt auch ne Minute, wenns von ner SATA SSD kommt.


Das wird wohl die günstigste Möglichkeit sein an halbwegs großen VRAM mit CUDA zu kommen um erste Erfahrungen zu sammeln... diese Ryzen AI Dinger haben zwar viel RAM, von denen einiges als VRAM zu verwenden ist (nachschauen wie viel!), der ist aber im vgl. zum RAM der GPU schon ziemlich lahm...
3060Ti ist nochmal billiger, aber mit 12gb wirst nicht happy werden...

Gehäuse irgendwas... 4 HE muss es in jedem Fall sein, große Lüfter sollten rein passen, normales ATX Netzteil ebenso.... gibts relativ günstig. Auf Hot Swap Einschübe würde ich verzichten, auch wenns so schön pro-like wirkt, in billiger Ausführung macht das wsl. mehr Probleme als es löst und kostet dabei noch Geld.

 

[ZockerZentrale]

Was an dem Mini-PC von GMKTec so interessant ist, sind eben die 128GB und wie eng die CPU+GPU verzahnt ist. Das hört sich fast optimierter und auf KI ausgerichtet an, als eine Selbstbau-Lösung. Allerdings ist das dann nicht upgradebar.

Der GMKtec mit 128 GB Unified Memory sieht erstmal stark aus. Aber man sollte wissen: Unified Memory ist langsamer als echtes GPU‑VRAM, das zeigen viele Testberichte. Wenn dir die Geschwindigkeit egal ist, kannst du damit große Modelle laden. Willst du aber schnelle Ergebnisse, ist eine richtige GPU die bessere Wahl.

 

[pwnbert]

Joa, der Tip mit der 3090 ist nicht so verkehrt finde ich, irgend ne gut abgehangene günstige Hardware zusammenstoppeln damit und reale Erfahrung sammeln.

Dann merkt man ja, wo es klemmt. Den größten Wertverlust hat die 3090 wohl hinter sich.
Imho muss auch der Rest nicht besonders schnell sein. Noch nicht mal die PCIe Link Speed... die muss nur so groß sein, dass du die Daten von der SSD zügig rein bekommst.

RAM ist noch nicht mal so das Thema, sobald du VRAM und RAM swappen musst, hast eh verloren.
CPU eigentlich auch nicht.

Wenn du irgendwas über hast, so Zen 1-3 oder Intel Gen ~7-12, bist schon gut dabei... so ein 6-Core reicht bestimmt erstmal, das ist gar nicht so das Thema, wsl. sogar ein 4-Core.

 

[Magneti]

Aber seht Ihr AMD Grafikkarten im KI Bereich (ROCm) auch als Leistungsstark an oder ist dieses CUDA fast unschlagbar?
Z.B. wenn es auch in Richtung selbstlernen geht?

Ich hab als erste Testhardware folgende Zusammenstellung erstellt und versuche, diese gebraucht zu kaufen:
GPU: RTX 3090 mit 24GB
CPU: AMD Ryzen 5 3600 3.6 GHz 6-Core Processor
CPU-Kühler: notwendig?
Gehäuse: notwendig?
RAM: Corsair Vengeance LPX 32 GB (2 x 16 GB) DDR4-3200 CL16 Memory
Netzteil: Corsair RM650e (2025) 650 W Fully Modular ATX Power Supply
Speicher: Western Digital WD_Black SN850X 1 TB M.2-2280 PCIe 4.0 X4 NVME Solid State Drive oder die Samsung Evo
Board: MSI MPG B550 GAMING PLUS ATX AM4 Motherboard

Meinungen?

 

[ZockerZentrale]

Ich hab als erste Testhardware folgende Zusammenstellung erstellt und versuche, diese gebraucht zu kaufen:
GPU: RTX 3090 mit 24GB
CPU: AMD Ryzen 5 3600 3.6 GHz 6-Core Processor
CPU-Kühler: notwendig?
Gehäuse: notwendig?
RAM: Corsair Vengeance LPX 32 GB (2 x 16 GB) DDR4-3200 CL16 Memory
Netzteil: Corsair RM650e (2025) 650 W Fully Modular ATX Power Supply
Speicher: Western Digital WD_Black SN850X 1 TB M.2-2280 PCIe 4.0 X4 NVME Solid State Drive oder die Samsung Evo
Board: MSI MPG B550 GAMING PLUS ATX AM4 Motherboard

Meinungen?

Solider Einstieg für dein Vorhaben, NVIDIA‑CUDA bleibt aktuell fast unschlagbar wegen seiner breiten Unterstützung.

ID-Cooling Frozn A620 Pro SE ab € 19,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ID-Cooling Frozn A620 Pro SE ✔ Produktinfo ⇒ Bauart: Tower-Kühler (Dual-Tower) • Abmessungen mit Lüfter: 120x157x142mm (BxHxT) • Lüfter: 2x 120x120x25… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Hat 2 Lüfter verbaut.

be quiet! Pure Base 501 Airflow Window Black ab € 76,99 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Base 501 Airflow Window Black ✔ Bewertungen ✔ Produktinfo ⇒ Gehäusetyp: Midi-Tower • Volumen: 48.13l 231x463x450mm (BxHxT) • Mainboard: bis ATX Unterstützte Mainboar… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

be quiet! Pure Wings 3 PWM, 140mm (BL108) ab € 10,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Pure Wings 3 PWM, 140mm (BL108) ✔ Bewertungen ✔ Produktinfo ⇒ Lüfteranschluss: 4-Pin PWM (46cm) • Abmessungen: 140x140x25mm (BxHxT) • Drehzahl: 1200rpm • Luftdurchsatz… ✔ Lüfter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

4 Lüfter vorhanden, RGB kann man abklemmen bzw. abstellen.

Fractal Design Pop XL Air RGB Black TG Clear Tint ab € 86,90 (2025) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Fractal Design Pop XL Air RGB Black TG Clear Tint ✔ Bewertungen ✔ Produktinfo ⇒ Gehäusetyp: Midi-Tower • Volumen: 62.43l 230x520x522mm (BxHxT) • Mainboard: bis ATX (279mm breit) Unterst… ✔ PC-Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[Magneti]

RAM ist noch nicht mal so das Thema, sobald du VRAM und RAM swappen musst, hast eh verloren.
CPU eigentlich auch nicht.

Also reichen vermutlich auch 16GB normaler RAM?

 

[pwnbert]

Schwer zu sagen, ich habs nie mit so wenig RAM gemacht.
Wenn du den RAM noch hast und nicht kaufen musst, probiers aus.
Ehrlich gesagt weiss ich nicht, ob direkt von der SSD in den VRAM geladen wird, oder inwiefern das "vorher durch den RAM muss"...

Wahrscheinlich sollte es reichen.

Ich weiss nicht, hast du noch einen alten PC?
Dann steck ne 3090 rein und schau wies läuft.

 

[Magneti]

Leider nein, aber preislich wär ein neuer im Rahmen und dazu nur die 3090 gebraucht kaufen.
Passen die Komponenten so? Weil ich musste noch das Gehäuse (günstigeres) und das Mainboard tauschen, weil der Shop nicht das MSI MPG B550 hat. Leistung vom Netzteil für alles dürfte ausreichen und das Gehäuse ausreichend groß für Grafikkarte und CPU-Kühler sein.

 

[xrated]

Ist die Frage wie lange so eine 3090 noch hält, gibts ja auch nicht grad geschenkt. Die sind auch relativ anfällig was Probleme im Alter angeht.

Board kommt mir etwas teuer vor und ob ich bei so einer alten Plattform noch soviel in RAM investieren würde?

Lohnt sich das ganze überhaupt? Mir kommt diese ganze KI Geschichte mehr wie Spielerei vor als das man wirklich produktiven Nutzen hätte.

 

[pwnbert]

Zum rumspielen die günstigste Wahl mit CUDA, vor allem >16gb.

Board kommt mir etwas teuer vor und ob ich bei so einer alten Plattform noch soviel in RAM investieren würde?

Ich tu mir schwer, so alten Kram zu empfehlen.
Ich tu mir aber auch schwer, neuen Kram zu empfehlen, der nochmal teurer ist und ggf. auch eher "sinnlos"...

Am sinnvollsten wäre vllt. ein "Durchschnitts-Media+Gaming-System" zu verwenden, also B850 Live-Mixer, 9700X ... das kann man als Gaming-PC oder Alltags-PC genau so gut verwenden, ist aber relativ flexibel und hat immerhin relativ brauchbare PCIe Slots und ne gute Allround-Ausstattung.
Damit ist das Geld zumindest nicht "verschwendet" sondern man kann die moderne Hardware vielfältig nutzen.

Lohnt sich das ganze überhaupt? Mir kommt diese ganze KI Geschichte mehr wie Spielerei vor als das man wirklich produktiven Nutzen hätte.

Lohnt sich Gaming?
Man opfert Zeit und Geld dafür, dass man ne sinnlose Tätigkeit hat, von der keiner was hat.
Könntest die Zeit verwenden kostenlose Nachhilfe für Schuldkinder aus armen Verhältnissen zu geben, wäre sinnvoller.
Lohnen würde sich, diese Zeit in irgend eine gewinnbringende Tätigkeit (=Arbeit) zu versenken.

Das wird jetzt philosophisch bis zum Sinn des Lebens.

 

[Magneti]

Das System soll nur für KI-Aufgaben und als Anwendungs-Datenbankserver (Vektor, Relational) herhalten und wird vllt. in 2 Jahren ersetzt, wenn ich erste Ergebnisse habe, wieviel damit von der Leistung her Umsetzbar ist.
Wenn das dann leichter upzugraden ist, ist auch gut.
Ohne GPU bin ich jetzt bei knapp 600€ für die Komponenten. Wenn ich die 3090 für 600-800€ erwische, wären das 1,4k.

Lohnt sich das ganze überhaupt? Mir kommt diese ganze KI Geschichte mehr wie Spielerei vor als das man wirklich produktiven Nutzen hätte.

Wie kommst du darauf, dass es auf diese Art und Weise keinen produktiven Nutzen haben kann?

 

[xrated]

Es könnte schon aber ob es das dann auch tatsächlich tut ist die andere Frage. Du schreibst ja selber das du noch keine Ergebnisse hast.

 

[Magneti]

Zumindest keine im Produktiveinsatz. Aber auf meinem "alten" Computer von 2020 (AMD Ryzen 9 3900XT, ASUS RX VEGA 56 8GB HBM, 32GB RAM, nVME) liefen manche Modelle erstaunlich gut in Sachen schnelle Rückmeldung, Dokument analysieren. Sogar vision-Modelle lieferten oft präzise Aussagen.
Deshalb dachte ich, mit neuerer Hardware und einer mehr auf KI ausgerichteten Grafikkarte erziele ich deutlich bessere Ergebnisse, welche sich für den Produktiveinsatz eignen.

 

[ZockerZentrale]

Das System soll nur für KI-Aufgaben und als Anwendungs-Datenbankserver (Vektor, Relational) herhalten und wird vllt. in 2 Jahren ersetzt, wenn ich erste Ergebnisse habe, wieviel damit von der Leistung her Umsetzbar ist.
Wenn das dann leichter upzugraden ist, ist auch gut.
Ohne GPU bin ich jetzt bei knapp 600€ für die Komponenten. Wenn ich die 3090 für 600-800€ erwische, wären das 1,4k.

Ich komme auf ~ 450 €

Office 5600X oder 5600GT | Wunschlisten Geizhals Deutschland

Office 5600X oder 5600GT | Wunschlisten

geizhals.de

Unter 600 € moderne Plattform, 16 GB Ram sollten reichen, du kannst nachlegen, wenn nötig?

Office PC | Wunschlisten Geizhals Deutschland

Office PC | Wunschlisten

geizhals.de

 

[pwnbert]

Nen KF, ernsthaft?

 

[flxmmr]

Deshalb dachte ich, mit neuerer Hardware und einer mehr auf KI ausgerichteten Grafikkarte erziele ich deutlich bessere Ergebnisse, welche sich für den Produktiveinsatz eignen.

und deshalb nimmst du jetzt 16GB RAM und eine 6-Kern-CPU mit höherer Singlethreadperformance? Wenn du leidensfähig bist und gerne an der Software bastelst, kauf' eine R9700 für 1400€ (siehe auch reddit: https://www.reddit.com/r/comfyui/comments/1or83m0/i_benchmarked_the_new_amd_radeon_ai_pro_r9700/ - der macht genau das, was du machst, mit deiner "alten Hardware"...) oder die Dual-GPU-Arc für 900€. Ansonsten eben die 5090 oder gleich eine RTX mit 48GB (neu für 4k...)

Oder: Was möchtest du denn eigentlich produktiv mit einer GPU machen? Neue (schlechtere...) Hardware hilft dir zu 99% nicht. Geld verdienen mit einer 32GB-GPU wird außerhalb sehr spezifischer Domains schwer (und dann würdest du nicht fragen...). Geld allgemein verdienen kannst du auch mit APIs für die Azure-OpenAI-API

 

[Magneti]

Produktiv ein KI-Model halbwegs performant betreiben. Muss vorerst gar nicht in Echtzeit mir Antworten liefern können. Im ersten Schritt hauptsächlich Dokumente verarbeiten und automatische Prozesse abwickeln können (Tooling).
Da die Dokumente sensible Daten enthalten, muss das LLM lokal laufen und ich kann die Dateien nicht zu irgendwelchen APIs uploaden.
Danke für deinen Link. Prinzipell würde ich AMD auch eher bevorzugen, aber das fehlende CUDA ist leider ein großer Nachteil, gerade bei so Libs wie pytorch. Auch wenn das ROCm 7.1 schon ziemlich nah ran kommt.

Eine 5090 kommt aus finanzieller Sicht vorerst nicht in Frage, da ich 2000€ zur Verfügung habe.
Der Plan ist, im kommenden Jahr mit dem Computer als KI-Anwendungsserver zu erfahren, was alles leistungstechnisch mit 2k Hardware möglich/umsetzbar ist.
Wenn ich dann gute Ergebnisse habe, ist das dann ein sehr gutes Argument das ganze aufs nächste Level zu bringen. Dann ist eventuell auch ein oder zwei 5090 drin bzw. was aktuelleres.

 

[flxmmr]

Produktiv ein KI-Model halbwegs performant betreiben

welches?

Da die Dokumente sensible Daten enthalten, muss das LLM lokal laufen und ich kann die Dateien nicht zu irgendwelchen APIs uploaden.

sagt wer? Mein AG (und vmtl. auch dein AG) hat damit 0 Probleme, setzt allerdings auch überall M363 ein.

Prinzipell würde ich AMD auch eher bevorzugen, aber das fehlende CUDA ist leider ein großer Nachteil, gerade bei so Libs wie pytorch.

wozu brauchst du pytorch, wenn du ein Modell betreiben willst?

 

[pwnbert]

Der Plan ist, im kommenden Jahr mit dem Computer als KI-Anwendungsserver zu erfahren, was alles leistungstechnisch mit 2k Hardware möglich/umsetzbar ist.

Ist kein blöder Ansatz.
Einfach mal nen Testbetrieb machen. Wenns Geld weg ist, ist es halt weg, auch egal.

Imho ist die 3090 immer noch ne gute Möglichkeit, ist halt die Frage, ob ein Gebrauchtkauf okay ist, und obs 24gb sein müssen, oder ob 16gb ausreichen.

Für den Fall, dass 16gb VRAM ausreichen, nimmst ne 5070Ti (ist wsl. genau so schnell wie die 3090, wenn nicht schneller, hat nur weniger VRAM). Nachdem momentan "alle" Kraten 16gb haben, halte ich es für wahrscheinlich, dass diverse kleine freie Modelle darauf ausgerichtet sind...

B850 Live-Mixer (viele PCIe Optionen): 200€

Spoiler: AI-Top

Alternativ das B850 AI-Top (für 2 GPUs mit guter Anbindung), sind halt 170€ Aufpreis, ginge sich auch noch irgendwie aus, lohnt aber wahrscheinlich nicht, so wäre meine Einschätzung... bzw. ist ne echt starke GPU so teuer (speziell 2 davon), dass das neue Mainboard dann "Peanuts" ist..

9700X: 260€
5070Ti: 800€ (ne 3090 wird nicht teuerer sein.. ist eben die Frage, ob man das will)
SSD (2tb TLC): 150€ (990pro, 990 evo plus, sn850x, kc3000 ....)
NanoKVM: 70€ (ziemlich nice!)
Netzteil: 150€ (BQ PurePower 13M 1000W)
Gehäuse: 150€ (irgend ein 4HE Ding)
Kühler/Lüfter: 60€ (Thermalright Kühler, zB SI100 + paar Arctic Lüfter)
--------- 1620€
RAM: ???? €

Da bist mit 2000€ gut dabei.
Die Herausforderung ist eh eher softwareseitig.

Das Netzteil hat genug "Kraft" für ne 5090 oder 6000, der Unterbau ist vielseitig, ne 2. GPU im unteren PCIe 4.0x4 könnte gehen... je nach dem könnte die Anbindung auch ausreichend sein.

Vorteil:
Die ganze Hardware kannst später auch als Office-PC oder Gaming-PC verwenden, wenn das Experiment verkackt.

 

[Magneti]

Alternativ das B850 AI-Top (für 2 GPUs mit guter Anbindung), sind halt 170€ Aufpreis, ginge sich auch noch irgendwie aus, lohnt aber wahrscheinlich nicht, so wäre meine Einschätzung... bzw. ist ne echt starke GPU so teuer (speziell 2 davon), dass das neue Mainboard dann "Peanuts" ist..

Danke für die Aufstellung. Für das B850 AI-Top, würde es damit dann nicht eher Sinn machen zwei gebrauchte 5070Ti (damit 32GB VRAM) anstelle der einen RTX3090? Wahrscheinlich lassen sich dann die 2k nicht einhalten.
NanoKVM das erste Mal von gelesen. Schaut interessant aus. Reicht da nicht auch einfach PC ans Netzwerk und per SSH rauf?

welches?

sagt wer? Mein AG (und vmtl. auch dein AG) hat damit 0 Probleme, setzt allerdings auch überall M363 ein.

wozu brauchst du pytorch, wenn du ein Modell betreiben willst?

1. Zum Beispiel gpt-oss oder deepseek
2. Ich kenne den Bias, aber da ist trotz MS365 nochmal ein Unterschied bei Dokumenten und da wird schon genau drauf geachtet.
3. Modell ist ein Aufgabenbereich, Pytorch ein anderer und das ist oft die Basis für andere Libs, welche ich dann in Pipelines für andere Aufgaben benötige.

 

[pwnbert]

gebrauchte 5070Ti

Woher willst du sowas nehmen? Die sind nagelneu. Lieber beim guten Angebot kaufen.
Und ob 2x 16gb wirklich 32gb sind, also ob du das so einfach kombinieren kannst, hängt wohl von der Software ab. Ich denke nicht, dass das so einfach wird.
Zudem hat das geklungen, als würdest du gewerblich einkaufen (das ist mit der Neuware ja immer bequemer).

Das ist alles nicht so einfach... da musst halt echt genau nachlesen, was/wie du tust.
Wenns nicht schnell sein muss, wären 2x 5060Ti 16gb auch 32gb... wenn das eben so ginge.

Eins ist relativ sicher, ne Dual-GPU Lösung macht die ohnehin nicht so einfache Sache nochmal komplizierter.

NanoKVM das erste Mal von gelesen. Schaut interessant aus. Reicht da nicht auch einfach PC ans Netzwerk und per SSH rauf?

Naja, kommst du per SSH ins Bios? Kannst ihn per SSH starten?
Ist einfach ultra bequem für die paar €...

Reicht natürlich, aber der NanoKVM ist schon cool. Das Ding kommt an USB und HDMI. Den "Bildschirm" kannst remote übers LAN sehen, hast du ein echt gutes KVM in FHD (Bildqualität und Latenz sind voll okay), Maus/Tastatur Eingabe wird per USB "eingespeist", kannst remote ein/ausschalten (wenn du die Zusatzplatine nimmst, mit der man den NanoKVM mitm ATX Header am Mainboard verbindet).
Zudem hat das Ding nen Flash Speicher, der sich als USB-Stick am PC anmeldet (ich glaub 10-30gb warens, müsste mal schauen, fürn ISO z.B. reichts).

Über Internet hab ichs noch nie probiert, nur im LAN.
Gab zwar paar Leute, die etwas gegen den nanoKVM geschossen haben bezüglich Sicherheit (irgendwo im entsprechenden Unterforum gibts da ein paar Links), imho ist dabei aber nix ernsthaftes rausgekommen, wo ich mir sorgen machen würde im LAN.

Imho ne tolle Option, wenn man kein BMC/IPMI hat, ich finde das "KVM-Erlebnis" besser als das BMC/IPMI vom Gigabyte MC12LE0 (beides hier)... die speziellen Enterprise-Optionen im IPMI brauch ich nicht (keine Ahnung, obs da irgendwelche Specials gibt, die man im Profi-Umfeld braucht).




=> Imho wirst du einfach mal starten müssen. Das beste was du machen kannst, ist ein möglichst flexibler Unterbau, der auch seinen Wert nicht verliert, wenn du deine Pläne ändern musst.

==> Du kannst auch mit ner 5060Ti 16gb starten, mit ~425 € bist du dabei. Ne 5070Ti ist halt 2x so schnell, aber es ist nur der Faktor 2... du kannst mit der 5060Ti wsl. ganz gut abschätzen, wie stark du daneben bist... obs locker ausreichend ist, oder ob du den Faktor 10 zu langsam bist... usw...
Du kannst auch ne 2. davon kaufen und testen, ob das "Verbinden" überhaupt so läuft, wie du das dir vorstellst. Im Worst Case verkaufst sie halt mit etwas Verlust, in dem Fall ist das wenig Geld.


Ob 16gb, 24gb oder 32gb macht wahrscheinlich gar nicht so viel Unterschied, weil der "echt gute Kram" ohnehin massiv größer ist.
In 16gb wirst genug Kram finden, den du erstmal testen kannst, weil der Großteil der Community eben auf 16gb Karten sitzt... 4060Ti 16gb, 5060Ti 16gb, 4070Ti Super, 4080, 5070Ti, 5080... mehr als 16gb haben eigentlich nur die sauteuren 4090 und 5090 (abseits der Professional Karten) sowie die XTX (nicht so interessant weil AMD) und die neue Intel B60 pro (neu und auch nicht ganz billig)...
Insofern wirst mit 16gb genug zum Testen finden.