Kannte den Thread noch gar nicht. Morgen ist endlich wieder das Mainboard da und es geht erneut ans Basteln.
i7-8700K mit 4x8GB DDR4 auf Asrock Z370 Extreme 4 fliegt raus und wird durch einen Ultra 270K Plus mit 2x24GB DDR5 (leider nur 5600 CL46, der aber mit Standard timings auf 6400 läuft, immerhin) auf Gigabyte Z890 Aero G ersetzt. Was im Server bleibt ist die RTX 5080 und die m.2 500GB Samsung 970 EVO SSD, wobei ich da vielleicht noch eine kleine schnellere verbaue, um das Laden von KI Modellen zu beschleunigen, die jetzige m.2 ist noch eine PCIe3.0, also max. 3500MB/s.
Hätte natürlich auch gerne mehr VRAM... aber wir alle kennen das Problem.
😆
Aber mit dem Mainboard ist zumindest schon mal eine zweite GPU möglich, mit 5.0 x8 Betrieb, womit dann auch die 5080 laufen würde. Für größere KI Modelle hab ich mein Main PC, der Server wird eher für STT/TTS/Embedding/Memory und einem kleinen LLM für Sprachnutzung, das muss nicht super intelligent sein, nur gut genug Deutsch können und schnell sein, weswegen ich zu einem Gemma 4 MoE Modell tendiere. Eventuell ist Gemma 4 26B A4B dafür als irgendein ~4bit quant mit CPU Offload einiger Experten geeignet. Hängt davon ab, wie viel VRAM der andere Kram verbraucht. Eventuell ist Whisper per NPU schnell genug, dann könnte ich mir dafür VRAM sparen, für TTS nutze ich ein OmniVoice finetune, dass ich mit Daten von Sonic 3.6 auf eine KI generierte Stimme für Deutsch trainiert habe und bis jetzt sehr stabil wirkt. OmniVoice verbraucht bei mir inzwischen nur noch 2,6GB VRAM maximal in float16, damit sind noch grob 13,4GB VRAM frei.
Eine zweite GPU später dient dann eher zum auslagen von KI Modellen, bei denen Schnelligkeit nicht ganz so eine große Rolle spielt, also eher eine schwächere GPU mit 16GB VRAM, 5060/5070 TI oder ähnliches. Aber die käme eh erst irgendwann 2027 und wer weiß wo die Preise dann sind.
Bringt einem dafür ein sehr schnelles Netz was (bestimmt, hab ja mein 100Gbit Netz gerade weitgehend zurückgebaut)? 
