Wassergekühlter Server für KI

Phoebus Ryan

Enthusiast
Thread Starter
Mitglied seit
22.04.2007
Beiträge
124
Hallo miteinander,
das ist eine Anfrage aus unserer Firma und zwar betreiben wir seit vielen Jahren Kundenserver in unserem Rechenzentrum und bekommen in letzter Zeit immer mehr Anfragen bzgl. KI.

Da wir nun einen sehr konkreten Interessenten haben, möchte ich das Thema mal angehen. Wir möchten den Server aufgrund der Abwärme zwingend mit Wasser kühlen. Ich kenne mich mit der Thematik grundsätzlich aus, da ich privat schon so einige Custom-Loops zusammengebaut habe. Im professionellen Umfeld ist das aber nochmal eine andere Geschichte mit 24/7 Betrieb etc. Eigentlich wollte ich das Projekt zusammen mit Alphacool umsetzen, da Sie einerseits Enterpreise-Hardware anbieten aber auch ausgelegt sind für B2B. Es ist aber so, dass unsere Anfrage nicht beantwortet wurde und ich beri denen insgesamt schon 2h in der Telefon-Warteschlange war ohne etwas zu erreichen. Deshalb wende ich mich an euch.

Was wir bereits haben sind 5x Inno3D RTX5090 iChill Frostbite Pro 32GB (https://www.inno3d.com/product/inno3d-geforce-rtx-5090-ichill-frostbite-pro). Da sind wir sehr günstig dran gekommen, weshalb sich die blackwell 6000 nicht mehr angeboten hat. Was wir möchten sind 2 Server mit je 2 GPUs drin; die 5. Karte ist quasi als Ersatzteil.

Mainboards, CPUs und RAM haben wir. Es sind jeweils Supermicro Boards mit S3 Sockel. Als Gehäuse dachten wir an das hier: https://shop.alphacool.com/en/shop/...l-es-4u-19-quot-serverrack-watercooling-ready mit jeweils zwei Pumpen in Serie drin. Die CPU können wir grundsätzlich luftgekühlt lassen. Noch zum Rechenzentrum: Wir haben 80x120cm Racks, können also Fan-Walls oder ähnliches bauen. Die Temperatur ist maximal 26° da drin. Das System soll möglichst kompakt und wartbar sein; also kein externer Mora oder ähnliches. Lautstärke ist völlig egal; es können also Hochleistungslüfter eingesetzt werden.

So und nun stehe ich etwas an, wie man das lösen könnte mit der Kühlung. Beim Alphacool-Gehäuse steht "Water cooling for 2400W waste heat" in der Beschreibung; es hat aber aus meiner Sicht nur Platz für einen 360mm Radiator. Wie soll das funktionieren? Ein einziger 360er Radiator reicht ja wohl nicht mal für eine einzige GPU oder? Wenn man aber bei Google sucht nach "water cooled workstation multi gpu" oder ähnlichem; findet man massenweise Builds, die genau so funktionieren. Hat da irgend jemand Erfahrung damit?

(Keine Ahnung ob das hier schreiben darf (sonst bitte entfernen) aber wir suchen ernsthafte Beratung und würden dafür auch bezahlen wenn sich jemand wirklich damit auskennt)

Danke vorab!
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Server werden so aufgebaut ohne Rücksicht auf Lautstärke, dass heißt Du nimmst Hochleistungslüfter mit 8000 U/min. Dadurch kannst du die Wärme mit einen 360er Radiator weg schaffen. Besser ist es MoRa`s einzusetzen, weil viele Serverräume nicht klimatisiert bzw. sehr klein sind, dadurch kann man die Wärme gleich aus dem Raum schaffen. Das muss man aber vor Ort entscheiden.
Schau dir mal das Video an, sind mit sieben GPU
 
Zuletzt bearbeitet:
Falls Interesse besteht, kann ich gerne Montag mal Datenblätter für 4U und 6U Kühleinheiten raussuchen. Sind jeweils für 8 bzw. 12 GPUs ausgelegt (max. 5600w bzw. 9500w).

Screenshot 2026-01-03 160452.png
Screenshot 2026-01-03 162027.png
Screenshot 2026-01-03 162013.png
 
Server werden so aufgebaut ohne Rücksicht auf Lautstärke, dass heißt Du nimmst Hochleistungslüfter mit 8000 U/min. Dadurch kannst du die Wärme mit einen 360er Radiator weg schaffen. Besser ist es MoRa`s einzusetzen, weil viele Serverräume nicht klimatisiert bzw. sehr klein sind, dadurch kann man die Wärme gleich aus dem Raum schaffen. Das muss man aber vor Ort entscheiden.
Schau dir mal das Video an, sind mit sieben GPU
Hab mir das Video und noch ähnliche angeschaut. Das ist schon krass, was ein einzelner Radiator hinkriegt, wenn die Luftmenge und Lufttemperatur stimmt. 8000 Umdrehungen sind heftig! Ich wollte ursprünglich Alphacool ES Lüfter nehme aber diese gehen „nur“ bis 4000 Umdrehungen.


Falls Interesse besteht, kann ich gerne Montag mal Datenblätter für 4U und 6U Kühleinheiten raussuchen. Sind jeweils für 8 bzw. 12 GPUs ausgelegt (max. 5600w bzw. 9500w).
Ach krass, ja gerne!
 
wir möchten nicht 5 Stück kühlen sondern 2.

Also zwei baugleiche Server bauen mit je 2 Karten drin. Die 5. Karte ist Ersatz.

Die Raumtemperatur ist maximal 26 grad. Meistens darunter.
 
wollte ich auch gerade schreiben, wenn man keinen Platz im Gehäuse hat muss man damit aus kommen. Ich habe eine andere Lösung gefunden, da ich keinen Platz für einen Mo-Ra habe, habe ich 2x480 und einen einen 240er mit einer Halterung an das Gehäuse extern geschraubt. Er kühl eine 200W CPU und eine 4080 GPU flüster leise.
DSC_0196.JPG
 
Ja klar, sowas geht. Ist aber halt in einem Rechenzentrum nicht denkbar. Da wollen wir keine Bastellösungen. Privat habe ich sowas aber auch schon öfters gemacht - spricht ja nichts dagegen ;-)

Alphacool hätte auch einen Chiller für Racks aber ich denke, dass das ja auch ohne gehen muss.
 
Lasergeschnittene Stahlhalterung ist keine Bastellösung.
Radi-Halterung.jpg
Es war nur ein Beispiel wie man es noch lösen kann.
 
Sorry, wollte dich nix her beleidigen, denn deine Lösung sieht wirklich gut aus. :-)

Hab mir auch erst überlegt, einen Mora horizontal unten ans Gehäuse zu schrauben aber die Idee dann wieder verworfen.

Es geht mir aber ja auch noch um das Monitoring. Wie kriege ich es mit, wenn eine Pumpe ausfällt oder es sonstige Probleme gibt? Im PC höre ich das akustisch oder merke es an den Temperaturen… im Rechenzentrum kriege ich das ja nicht mit. Die Temperatur könnte man natürlich überwachen.

Praktischer wäre wohl ein Hard-Power-Off da der Server nicht systemkritisch ist und man so verhindern könnte, dass das System Schaden nimmt.

Auch wegen den 12vHP GPU Anschlüssen mache ich mir Gedanken, wenn diese 24/7 unter volllast laufen. Da überlege ich aktuell auf die wireview II zu setze, da diese das System abschalten könnten.
 
Praktischer wäre wohl ein Hard-Power-Off da der Server nicht systemkritisch ist und man so verhindern könnte, dass das System Schaden nimmt.

Wer macht denn sowas ? Eine Batch und co. ist schnell geschrieben (Notfalls über ChatGPT) die entweder die Anwendung schließt oder in den Energiesparmodus geht bzw. die Daten im RAM auf die Swap Datei auslagert (Warmstart).
 
Zuletzt bearbeitet:
Was sind einfach Ideen/Gedanken. Erstmal muss die Kühlung funktionieren. Das Monitoring ist dann der zweite Punkt.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh