Wassergekühlter Server für KI

[Phoebus Ryan]

Hallo miteinander,
das ist eine Anfrage aus unserer Firma und zwar betreiben wir seit vielen Jahren Kundenserver in unserem Rechenzentrum und bekommen in letzter Zeit immer mehr Anfragen bzgl. KI.

Da wir nun einen sehr konkreten Interessenten haben, möchte ich das Thema mal angehen. Wir möchten den Server aufgrund der Abwärme zwingend mit Wasser kühlen. Ich kenne mich mit der Thematik grundsätzlich aus, da ich privat schon so einige Custom-Loops zusammengebaut habe. Im professionellen Umfeld ist das aber nochmal eine andere Geschichte mit 24/7 Betrieb etc. Eigentlich wollte ich das Projekt zusammen mit Alphacool umsetzen, da Sie einerseits Enterpreise-Hardware anbieten aber auch ausgelegt sind für B2B. Es ist aber so, dass unsere Anfrage nicht beantwortet wurde und ich beri denen insgesamt schon 2h in der Telefon-Warteschlange war ohne etwas zu erreichen. Deshalb wende ich mich an euch.

Was wir bereits haben sind 5x Inno3D RTX5090 iChill Frostbite Pro 32GB (https://www.inno3d.com/product/inno3d-geforce-rtx-5090-ichill-frostbite-pro). Da sind wir sehr günstig dran gekommen, weshalb sich die blackwell 6000 nicht mehr angeboten hat. Was wir möchten sind 2 Server mit je 2 GPUs drin; die 5. Karte ist quasi als Ersatzteil.

Mainboards, CPUs und RAM haben wir. Es sind jeweils Supermicro Boards mit S3 Sockel. Als Gehäuse dachten wir an das hier: https://shop.alphacool.com/en/shop/...l-es-4u-19-quot-serverrack-watercooling-ready mit jeweils zwei Pumpen in Serie drin. Die CPU können wir grundsätzlich luftgekühlt lassen. Noch zum Rechenzentrum: Wir haben 80x120cm Racks, können also Fan-Walls oder ähnliches bauen. Die Temperatur ist maximal 26° da drin. Das System soll möglichst kompakt und wartbar sein; also kein externer Mora oder ähnliches. Lautstärke ist völlig egal; es können also Hochleistungslüfter eingesetzt werden.

So und nun stehe ich etwas an, wie man das lösen könnte mit der Kühlung. Beim Alphacool-Gehäuse steht "Water cooling for 2400W waste heat" in der Beschreibung; es hat aber aus meiner Sicht nur Platz für einen 360mm Radiator. Wie soll das funktionieren? Ein einziger 360er Radiator reicht ja wohl nicht mal für eine einzige GPU oder? Wenn man aber bei Google sucht nach "water cooled workstation multi gpu" oder ähnlichem; findet man massenweise Builds, die genau so funktionieren. Hat da irgend jemand Erfahrung damit?

(Keine Ahnung ob das hier schreiben darf (sonst bitte entfernen) aber wir suchen ernsthafte Beratung und würden dafür auch bezahlen wenn sich jemand wirklich damit auskennt)

Danke vorab!

 

[coolbeer]

Server werden so aufgebaut ohne Rücksicht auf Lautstärke, dass heißt Du nimmst Hochleistungslüfter mit 8000 U/min. Dadurch kannst du die Wärme mit einen 360er Radiator weg schaffen. Besser ist es MoRa`s einzusetzen, weil viele Serverräume nicht klimatisiert bzw. sehr klein sind, dadurch kann man die Wärme gleich aus dem Raum schaffen. Das muss man aber vor Ort entscheiden.
Schau dir mal das Video an, sind mit sieben GPU

 

[Regok]

Falls Interesse besteht, kann ich gerne Montag mal Datenblätter für 4U und 6U Kühleinheiten raussuchen. Sind jeweils für 8 bzw. 12 GPUs ausgelegt (max. 5600w bzw. 9500w).

 

[Phoebus Ryan]

Server werden so aufgebaut ohne Rücksicht auf Lautstärke, dass heißt Du nimmst Hochleistungslüfter mit 8000 U/min. Dadurch kannst du die Wärme mit einen 360er Radiator weg schaffen. Besser ist es MoRa`s einzusetzen, weil viele Serverräume nicht klimatisiert bzw. sehr klein sind, dadurch kann man die Wärme gleich aus dem Raum schaffen. Das muss man aber vor Ort entscheiden.
Schau dir mal das Video an, sind mit sieben GPU

Hab mir das Video und noch ähnliche angeschaut. Das ist schon krass, was ein einzelner Radiator hinkriegt, wenn die Luftmenge und Lufttemperatur stimmt. 8000 Umdrehungen sind heftig! Ich wollte ursprünglich Alphacool ES Lüfter nehme aber diese gehen „nur“ bis 4000 Umdrehungen.

Falls Interesse besteht, kann ich gerne Montag mal Datenblätter für 4U und 6U Kühleinheiten raussuchen. Sind jeweils für 8 bzw. 12 GPUs ausgelegt (max. 5600w bzw. 9500w).

Ach krass, ja gerne!

 

[hithunter]

Server werden so aufgebaut ohne Rücksicht auf Lautstärke, dass heißt Du nimmst Hochleistungslüfter mit 8000 U/min. Dadurch kannst du die Wärme mit einen 360er Radiator weg schaffen.

Das schafft ein 360er niemals, vielleicht mit sehr schlechten Temperaturen in einem Raum mit max. 18 °C wenn die fünf 5090 nicht voll ausgelastet werden.

 

[Phoebus Ryan]

wir möchten nicht 5 Stück kühlen sondern 2.

Also zwei baugleiche Server bauen mit je 2 Karten drin. Die 5. Karte ist Ersatz.

Die Raumtemperatur ist maximal 26 grad. Meistens darunter.

 

[coolbeer]

wollte ich auch gerade schreiben, wenn man keinen Platz im Gehäuse hat muss man damit aus kommen. Ich habe eine andere Lösung gefunden, da ich keinen Platz für einen Mo-Ra habe, habe ich 2x480 und einen einen 240er mit einer Halterung an das Gehäuse extern geschraubt. Er kühl eine 200W CPU und eine 4080 GPU flüster leise.

 

[Phoebus Ryan]

Ja klar, sowas geht. Ist aber halt in einem Rechenzentrum nicht denkbar. Da wollen wir keine Bastellösungen. Privat habe ich sowas aber auch schon öfters gemacht - spricht ja nichts dagegen ;-)

Alphacool hätte auch einen Chiller für Racks aber ich denke, dass das ja auch ohne gehen muss.

 

[coolbeer]

Lasergeschnittene Stahlhalterung ist keine Bastellösung.

Es war nur ein Beispiel wie man es noch lösen kann.

 

[Phoebus Ryan]

Sorry, wollte dich hier nicht beleidigen, denn deine Lösung sieht wirklich gut aus.

Hab mir auch erst überlegt, einen Mora horizontal unten ans Gehäuse zu schrauben aber die Idee dann wieder verworfen.

Es geht mir aber ja auch noch um das Monitoring. Wie kriege ich es mit, wenn eine Pumpe ausfällt oder es sonstige Probleme gibt? Im PC höre ich das akustisch oder merke es an den Temperaturen… im Rechenzentrum kriege ich das ja nicht mit. Die Temperatur könnte man natürlich überwachen.

Praktischer wäre wohl ein Hard-Power-Off da der Server nicht systemkritisch ist und man so verhindern könnte, dass das System Schaden nimmt.

Auch wegen den 12vHP GPU Anschlüssen mache ich mir Gedanken, wenn diese 24/7 unter volllast laufen. Da überlege ich aktuell auf die wireview II zu setze, da diese das System abschalten könnten.

 

[hithunter]

Praktischer wäre wohl ein Hard-Power-Off da der Server nicht systemkritisch ist und man so verhindern könnte, dass das System Schaden nimmt.

Wer macht denn sowas ? Eine Batch und co. ist schnell geschrieben (Notfalls über ChatGPT) die entweder die Anwendung schließt oder in den Energiesparmodus geht bzw. die Daten im RAM auf die Swap Datei auslagert (Warmstart).

 

[Phoebus Ryan]

Was sind einfach Ideen/Gedanken. Erstmal muss die Kühlung funktionieren. Das Monitoring ist dann der zweite Punkt.

 

[besterino]

Aaaaalso: Wenn Du das wirklich ernst meinst, würde ich als erstes mal @Regok hier im Forum ansprechen, die scheinen ja da offensichtlich RZ-taugliche Lösungen anzubieten und da er hier ja sogar schon geantwortet hat, könnte ich mir vorstellen, dass er auch bei einem entsprechenden Projekt mit Rat und Tat zur Verfügung stünde.

Alles andere ist Frickelei und mit Wasser im RZ ist ja nun auch nicht zu spaßen. ICH würde daher schon einmal in dem Rack, wo ich Wakü einsetze, keine anderen Server betreiben, zumindest nicht physisch "darunter" (wenn Wasser austritt, dann läuft's ja runter). Noch weitergehend: ICH würde im Zweifel sogar alle Wakü-Komponenten möglichst aus meinem Server verbannen (bis auf die Blöcke natürlich) und dann ein dediziertes Wakü-Rack vorsehen, in dem alle sonstigen Komponenten landen. Du trennst also zwischen "Server-Einheit" und "Kühlungs-Einheit" - genau das ist ja einer der großen Vorteile einer Wakü.

Dann ist schon einmal der Anpassungsbedarf im Server an sich sehr gering. Du musst zunächst mal nur Schläuche und Anschlüsse unterbringen und einen Eingang und einen Ausgang für die Schläuche vorsehen. Das löst Du entweder über Slotblenden (m.E. nicht ideal, da 1. sie Platz für PCIE-Karten wegnehmen, 2. in der Regel eine wackelige Angelegenheit sind, und 3. bei Undichtigkeiten Flüssigkeit aufs Mainboard tropfen kann) oder die bohrst an passender Stelle hinten ins Server-Gehäuse Löcher für Gehäusedurchführungen (z.B. sowas). Dann verschlauchst Du einfach seriell und fertig.

So weit so einfach zur Server-Einheit.

Kommen wir zur Kühlungs-Einheit.

Theoretisch kannst Du da ein beliebiges 4HE 19" Rackgehäuse nehmen (oder mehrere), das entkernst Du und knallst ein paar 360er-Radiatoren mit entsprechend potenten Lüftern rein. Da böten sich zum Beispiel die Noctua Industrials mit bis zu 3000RPM an.

Nur mal ein Beispiel dafür, dass ein 360er Radi inkl. Lüftern prima in 4HE passt (das schwarze Ding vor den orangenen Lüfter-Haltern), selbst wenn die Server-Hardware im gleichen Case ist (hier in push-pull-Konfig auf einem 30x360er Radi):

Denk Dir vorne die Festplattenkäfige und hinten das Mainboard-Geraffel weg und Du solltest da 3-4 Radiatoren (auch dickere, z.B. 50mm) hintereinander unterbringen können.

Alternativ kannst Du auch einen (oder zwei drei hintereinander) Mora auf einen Fachboden stellen, müsste man mal ausmessen, ob der quer reinpasst. Ich würde aber vermutlich eher etwas nehmen, was sich wie ein Server-Modul verbauen lässt.

Für die Steuerung nimmst Du einen Aquacomputer Quadro oder Octo, dafür gibt es USB-Anschlusskabel mit USB-A Stecker, kannst Du dann also ganz normal hinten als externes Gerät am Server anschließen. Das Kabel musst Du dann nur von Deiner Kühlungs-Einheit zur Server-Einheit bekommen, dann kann die das steuern. Alternativ könntest Du Der Octo kann Dir sogar zur Not automatisch den Server ausschalten.

Zwischen jedem Gerät (Server, Kühlungseinheit) würde ich Schnelltrenner bei Zu- und Ableitung verbauen, damit Du zur Not sehr schnell einzelne Geräte aus dem Kreislauf nehmen kannst. Meine Empfehlung wären da die CPC NS6. Gibt's grundsätzlich sogar mit Schottverschraubung (allerdings leider nur den männlichen Teil).

 

[hithunter]

Was ihr immer alle mit euren 360er Radis habt, das reicht einfach nicht. Selbst mit zwei 5090 ist man bei 26 °C Raumtemperatur bei 46 - 50 °C Wassertemperatur und da gibt es nur Probleme mit der Stabilität.
Ohne einen klimatisierten Serverraum (18 °C) taugen die geschlossenen Racks mit integrierten Radiator einfach nichts und für was anderes wurde diese auch nicht entwickelt. Racks allgemein und warme Raumtemperaturen funktioniert in der Regel nicht, da der RAM gerne mal über 80 °C heiß wird und dann der Server abschmiert.

 

[Phoebus Ryan]

Danke @besterino für deinen ausführlichen Beitrag.

Die Noctua-Industrial-Lüfter hatte ich auch schon im Kopf; evtl. sind aber die von @coolbeer erwähnten Hochleistungslüfter mit 4000rpm noch besser.

Mehrere Radiatoren hintereinander ergibt doch wenig Sinn oder? Ich glaube sowas wurde schon öfters getestet und es war nie sonderlich erfolgsversprechend.
Ich dachte an einen 360x80 mit 6x 4000rpm fans (https://shop.alphacool.com/en/shop/radiators/360mm/rad-alphacool-nexxxos-monsta-360mm-radiator) ...

Und ja @hithunter hätte ich auch so gesehen, gäbe es nicht überall im Netz Builds und Server die so funktionieren. Es ist halt einfach wenn Lautstärke egal ist. :-/

Der Aquacomputer Octo habe ich bereits auf der Merkliste.

Bei @Regok werde ich mich melden; denn es wäre toll, wenn wir hier voran kommen. Wir haben hier tatsächlich 5 wassergekühlte 5090er die auf einen Einsatz warten

 

[besterino]

Bei den Lüftern hast Du ja volle Auswahl. Kannst ja auch 230V Dinger nehmen. Je nachdem, wie Dein Aufbau am Ende aussieht, könntest Du mit 230V Lüftern ein Netzteil sparen.