Kleiner Heimserver für KI

[lakosta1]

Hallo zusammen,
ich möchte einen kleinen Server bauen, auf dem ich einigermaßen potente LLMs lokal laufen lassen kann. Da die wichtigste Komponente die GPUs sind, würde ich gerne auf zwei (gebrauchte) rtx 3090 zurückgreifen, was mir in Summe 48 GB VRAM bringt. Ich denke, das sollte ausreichen, um ein gutes Sprachmodell lokal laufen zu lassen und auch Spielereien im Bereich Bildgenerierung sollten möglich sein, wenn man ein wenig auf das Ergebnis warten kann. Jetzt ist die Frage, wie das restliche Setup aussehen könnte. Kennt sich hier jemand besser aus als ich? Mein erster Versuch hat dieses Ergebnis (habe ich was vergessen?)
Vielen Dank schon mal für euer Feedback.

1	Gehäuse	Corsair 4000D Airflow
2	CPU	AMD Ryzen 9 5900X
3	Mainboard	MSI B550-A PRO
4	RAM	4x 32GB DDR4-3600
5	GPU 1	EVGA RTX 3090 FTW3 (gebraucht)
6	GPU 2	EVGA RTX 3090 FTW3 (gebraucht)
7	CPU-Kühler	be quiet! Dark Rock Pro 4
8	Netzteil	1200W
9	Storage	1TB NVMe/SSD

 

[Liesel Weppen]

zwei (gebrauchte) rtx 3090 zurückgreifen, was mir in Summe 48 GB VRAM bringt.

Das funktioniert so afaik nicht. Der Speicher von zwei Grafikkarten addiert sich nicht einfach auf, weil die eine Karte hat ja keinen (direkten und somit schnellen) Zugriff auf den Speicher der anderen Karte.
Du kannst also auch wenn du 2 Karten mit jeweils 24GB hast kein Modell laufen lassen, das mehr als 24GB benötigt.

 

[pwnbert]

AM4 ist halt so ne Sache, der 2. PCIe 3.0x4 Slot ist halt relativ lahm.
Müsste man mit X570 Boards machen, die "SLI" können, ist halt wiederum ziemlich Stromhungrig.
CPU wäre bei AM4 ein 5700G oder 5755G wohl die bessere Wahl, deutlich sparsamer und hat ne iGPU, die das OS verwenden kann, dann kann das die GPU ganz frei lassen. Kann halt nur PCIe 3.0...

Nachdem du eh nix mit ECC machst wäre ggf. auch Intel 1700 ein Thema, irgend ein popeliger i5 reicht bestimmt.

128gb RAM brauchst imho nicht... wenn du VRAM zu RAM swappen musst, hast imho eh verloren. 64 sind wohl okay, meine ich? Vllt. sogar weniger, da müsstest aber selbst nachlesen oder testen.

Das funktioniert so afaik nicht. Der Speicher von zwei Grafikkarten addiert sich nicht einfach auf, weil die eine Karte hat ja keinen (direkten und somit schnellen) Zugriff auf den Speicher der anderen Karte.

Dachte ich auch, aber imho soll das doch gehen, je nach Anwendung irgendwie... weiss aber nicht, was das dann für Flaschenhälse hat... ob die 2 GPUs dann über PCIe "reden" müssen? Wahrscheinlich...
Wobei 1x 3090 zum Probieren ja mal was wäre.


Sonst vllt. über son Ryzen-AI System nachdenken, 128gb RAM kosten heute richtig Geld, die 3090 sind auch nicht geschenkt... vllt allgemein die bessere Wahl, wenn keine Hardware vorhanden ist.
Sonst könntest ne 3090 ja in alter Hardware versuchen, irgend ein Intel 1200/1700 oder AM4 Zen1-3 Kram...

 

[lakosta1]

Das ging ja schnell, vielen Dank. Nach meinem Wissenstand gibt es hier Lösungen, um größere Modelle auf zwei GPU laufen zu lassen (mit Einschränkungen in der Geschwindigkeit). Das mit dem x570 Mainboard kann ich nachvollziehen. Beim RAM kann ich ja gut nachrüsten, da sind 64 GB am Anfang sicher ausreichend

 

[pwnbert]

AM4 ist halt ne alte Plattform, wo die Chipsätze teilweise relativ schwach sind.

Sowas wie das Gigabyte B850 AI-Top wäre eigentlich das Mainboard der Wahl, mit nem 9700X oder was sich günstig anschaffen lässt...
Ist halt DDR5 und preismäßig nochmal... tjaha..
Kann dafür auch PCIe 5.0 SSD direkt an der CPU, damits schnell ist.

Musst halt wissen, was dir die Spielerei wert ist, wie ernst du das nimmst, wie weit du ausbaufähhig sein magst...

 

[lakosta1]

Sagen wir mal so, auf 500 Euro mehr oder weniger kommt es jetzt nicht an. Dann erstmal mit einer 3090 starten und bei Bedarf ne zweite dazu.

 

[pwnbert]

Naja, hängt halt von der Basis ab...

GIGABYTE B850 AI TOP ab € 386,25 (2025) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für GIGABYTE B850 AI TOP ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM5 • Chipsatz: AMD B850 • CPU-Kompatibilität: Ryzen 7000 , Ryzen 8000G , R… ✔ Mainboards ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Das ist halt für sowas ausgelegt... schön viel Platz zwischen beidne GPUs und so, kann ECC (was wohl nicht so das Thema ist)...
Das Betriebssystem steckst in die Southbridge-M.2 SSD und mit den 2 PCIe 5.0 SSDs machst dir ein schönes PCIe 5,0 "Raid 0" mit 2 SN8100er... Datensätze mit 25 gb/s laden macht dann auch Spaß.

Ist halt teuer und wsl. etwas over the top. Dafür geht auch was weiter, wenn man wirklich will.
Beim AM4 bist halt... ziemlich begrenzt.

Hängt halt stark davon ab, ob du alte Hardware hast, die du recyceln kannst. Wäre der beste Start.

 

[lakosta1]

Ich finde den Vorschlag insofern ganz gut, dass ich auf jeden Fall für die Zukunft und eine Erweiterung gut aufgestellt bin. Dann müsste ich dementsprechend den Ram auf DDR5 anpassen und den Chip. Ist der Ryzen 9 7900x da gut? Und 2x Samsung 990 Pro 2TB?