Neuer AI-Server

Die Kunst liegt im Prompt (aber selbst dann funktioniert manches trotzdem nicht ;))… ich hab aber null Erfahrung mit den frei verfügbaren Modellen…
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
die kleinen sind fast alle furchtbar, gestern wollte mir gemma3:4b weis machen, 4 * 4 wäre 14...
 
Also Gemma3:27b ist schon ganz nett, aber haloziniert dann auch wenn es ans Kino-Programm geht 😅

Hier mal mein Low Budget KI-Server:

Basis mein altes NAS Pentium Gold Dual-Core, 16GB RAM auf einem Asroch H570mitx (LGA1200), hätte da gerne einen i5 wenn ich mal einen gebraucht finde. Und das Herzstück eine NVIDIA Tesla P40 mit 24GB VRAM. Vor über einem Jahr noch für 220€ gebraucht bekommen.

Daher passen 27b und auch 32b Modelle komplett in den VRAM und gehen auch sehr flott. Nur muss man aufpassen dass man kein FP16 modell erwischt wie das Mistral 3.1, da ist die Performance unterirdisch und nicht zu gebrauchen. Aber alles in allen hat Home Assistant Voice (mit Piper und Whisper auf einem anderen Server) durch diesen KI-Rechner unseren Kindern eine Geschichte erzählt. Mit Open Webui hab ich ganz gut gechattet.

Anschalten per Wake up on LAN und ausschalten per Script (Schalter) in Home Assistant klapppt Prima ohne zum Rack zu müssen.

Achso ich hab das billigste Gehäuse genommen was es gab^^

PXL_20250414_170419894.jpg
 
Wo hast du dir den (Spannungs-)Adapter für die P40 geholt?
Ich hab echt lange in der Bucht gesucht, für die M60, mich dann für ein all inclusive-Angebot entschieden, weil die Adapter alle suspekt waren... =)
 
Es beginnt ^^

Kleiner Dämpfer, wenn man es so sehen mag, ist, dass der RAM bei den AMD Systemen kein "unified shared ram" ist, dem Video nach ist das 50:50 zwischen CPU und GPU aufgeteilt. Was beim kauf, definitiv beachtet werden soll, wenn man es für Ki Zwecke nutzen mag. Man hat also beim 128 GB Modell "nur" 64 GB für die GPU..etc.
 
War nicht mal die rede vom Framework desktop das von den 128gb 96gb für GPU eingeteilt werden können?
Das wäre ja nur eine Bios Einstellung oder nicht?
 
Das weiß ich nicht, zu dem Gerät, was er da hat, wird leider auch nicht aufs UEFI eingegangen und ob es dort Änderungsmöglichkeiten gibt. Wäre natürlich auch wieder so ein Punkt, der von Hersteller zu Hersteller unterschiedlich sein könnte.
 
Fazit:
Clustering funktioniert Softwaretechnisch noch nicht optimal. Mit 4x Framework Desktop.



Aber das ding braucht 10W Idle!
 
Haldi schrieb:
Woot.
Was ist denn das für ein Geiles Ding.

ich tippe mal so auf 800-1200$
Eher oben...
Zum Vergrößern anklicken....

Ich hab's jetzt getan und mir dieses geile Ding inkl. 96GB Ram mal bestellt.
Bezahlt habe ich irgendwas mit CHF 1500.- ungerade, ich hatte noch einen Rabatt Coupon erhalten.

Ich bin mal gespannt auf das gute Ding 😁

Gruss Lobsi
 
Bitte Berichte über Stromverbrauch im Idle und unter normaler täglicher Last :)
 
@Haldi kann ich machen, leider wird's wohl noch ein wenig dauern, die gute Büx wird erst Mitte Monat versandt.

Was ich vor habe:
Aufteilung des Ram 50:50 (System/GPU),
Einrichten von Unraid + Umzug HDDs meines alten Servers (spendiere neue Party Disk), einrichten LLM, wahrscheinlich 70b q4, einrichten einer Schnittstelle für TTS/ STT zwecks Anbindung meines für Home Assistent genutzten Raspi 5, Immich unterstützt durch lokale KI einrichten etc...
 
Welche ollen Server-GPUs kann man eigentlich sinnvoll für KI und vGPU nutzen?
Aktuell habe ich ne M60 drin, aber die wird absehbar Stress machen, weil es bereits jetzt schon keine Treiber für Kernel > 6.14 gibt...
Aktuell im Auge habe ich als Ersatz ne China-V100 (SXM-Modul auf PCIe-Adpater) mit 16 GB.
In der Range bis V100 mit 32 GB (ca. 800 €) liegen allerdings auch noch Tesla T4, T10 und A2.
Bei denen scheint die Performance aber eher schwach zu sein, verglichen mit der V100.

Frage an euch:
Ist das so oder sind die Cores der Turings und Amperes einfach so viel besser, dass sie für hauptsächlich KI die geeignetere Wahl sind?
vGPU, aka Games steht nur für low end Kram an.
 
Warum für so etwas altes (V100) noch 800€ ausgeben?
Da würde ich mir lieber eine Arc Pro B60 holen, von Sparkle gibts die gerade für 724€. Hat aber nur 24 GB RAM. Oder wenn du genug Platz im Rechner hast. Zweimal Arc Pro B50, da hast du dann auch 32 GB RAM (2x 16GB) und bist mit etwas über 700€ noch günstiger. Es wird auch deutlich schneller sein, du hast Garantie drauf und eine Restwert wenn du sie mal verkaufst. Oder schon mal nach Gebrauchten Radeon 7900XT gesucht, zwar nur 20 GB RAM. Aber wenn genug PCIe Lanes vorhanden sind, zwei Stück davon.

Ich selbst möchte gerne eine Senao Genesis haben. Da nur single Slot. Nur leider verkauft Senao diese nicht an Privatkunden. Laut deren Aussage, überlegen sie es sich eventuell es im Jahr 2026 zu ermöglichen.
 
Hab letztens auch mit der Arc Pro B... gustiert... aber solang damit kein SR-IOV läuft, ist das nix.

Von den TOPS her ist soe schon deutlich langsamer als so ne 5090 oder so. Aber ja... der VRAM ist schon nice. Wsl wird man bei 3090 vs B60 pro 24gb ähnlich sein... mitm Unterschied, dass die B60 halt dann doch sparsamer ist.

Wenn der Kram endlich SR-IOV kann, was angeblich ja im Q4 kommen soll (also jetzt...)... dann wird die Sache interessant - sehr interessant.
 
Hmm, kommt mir nicht mit Wahrheiten.
Lanes und Platz sind dank X10DRU-i+ en masse vorhanden, wichtig ist halt GPU passthrough an mehrere VMs.
Wenn das nur mit SR-IOV geht und das nicht geht, ist sie leider raus.

//Edith:
Mit der B50 scheint SR-IOV mit 6.17 zu gehen:
forum.level1techs.com

Intel Arc Pro B50, SR-IOV, and me

Mine also has some WICKED coil whine at idle. honestly… I hadn’t noticed if it was only at idle but I think it was… I’ll have to look into that.
forum.level1techs.com forum.level1techs.com
Wichtig wäre jetzt noch flexibles VRAM provisioning auf den VFs.
Ich bräuchte 1x 2..4GB für die Windows VM und den Rest für die KI-VM...

//Edith2:
forum.level1techs.com

Proxmox 9.0 + Intel B50 SR-IOV -- finally its almost here! Early Adopter's Guide

Hey, that worked. Thank you!
forum.level1techs.com forum.level1techs.com
scheint zu lüppen.
Mein X10 braucht aber nen UEFI-Patch.
Na das wird wieder geil, hab ich schonmal hinter mir, um Boot von NVMe zu ermöglichen...
 
Zuletzt bearbeitet:
Erst mal Weihnachtsgeld und T-ZUG abwarten, danach die Kosten der B60 mit denen der Geschenke zu Weihnachten kaschieren, um tieffliegende Nudelhölzer zu vermeiden. :fresse:
 
Ach was, einfach auf Raten kaufen! Die coolen Kids machen das so! :fresse2:
 
Anmelden, um zu antworten.

Ähnliche Themen

K
[Kaufberatung] Local AI Computer PC/Server [Anfänger]
2 3
Antworten
70
Aufrufe
6K
-->Andy<--
-->Andy<--
D
[Kaufberatung] [Tech. Bewertung / Kompatibilitäts-Check] Home-Server / NAS für Proxmox
2
Antworten
52
Aufrufe
6K
pwnbert
pwnbert
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh