IBM Netbay 25HE Serverschrank Umbau @ Wasserkühlung

[Neptun]

Hallo Leutz,

ich möchte hier meine aktuelles Projekt "Blue Water Cluster" vorstellen.

Grundlage ist ein IBM Netbay Serverschrank mit 25 HE Bauhöhe.

Anklicken für große Bilder / Fotos


--->>> So, oder so ähnlich wird dann später die Aufteilung der 25HE sein:




--->>> Ziel soll es sein, das später alle PCs und Servereinschübe mit nur einer Wasserkühlung betrieben werden soll.


Anklicken für großes Bild


Der große Windows Server wird später aus dieser Hardware bestehen:

--->>> Intel Server Board S5000PSLSATAR, dual Sockel-771 + 2x Quadcore Xeon L5420


Hier ein aktuelles Fotos, aber alle Systeme arbeiten noch mit Luftkühlung.



Der Wakü Umbau wird in den nächsten Wochen starten, wenn alle Waküteile angekommen sind und ich Urlaub habe, das ganze Zeugs auch vernünftig einzubauen.

--HIER-- ist der aktuelle Links zum Umbau Worklog.

Wenn interesse besteht, kann ich das Projekt auch ausfürhlicher hier vorstellen

[H_M_Murdock]

Gute Idee und schönes Projekt, ich hatte schonmal mit genau dem Gedanken gespielt (allerdings ohne ernsthaft eine Umsetzung zu planen).

Allerdings hab ich mir eine Frage gestellt die du dir nicht stellst (auch nicht stellen musst aber uninteressant wärs nicht):
Wie kann man die Server geschickt so in die Wasserkühlung integrieren, dass man bei X Systemen die gemeinsam an einer Wakü laufen mal eins im laufenden Betrieb abklemmen kann ohne den Kreislauf zu unterbrechen und ohne mit Wasser in der Gegend rum zu sauen?

Und da fällt mir auch noch ne zweite Frage ein:
Kommt so ne Kiste komplett ohne Luftstrom im Gehäuse aus?
Wenn wirklich alles (incl Chipsatz, HDDs, VRMs etc) mit Wasserkühlern versehen ist sicherlich.

Bei der Festplattenkühlung ist dann immer noch n Faktor da der mich stört: Backplanes.
Ich behaupte einfach mal Backplanes lassen sich nicht mit Wasser kühlen und das ist ein Punkt der mich sehr stört weil ich gerade im Fileserver nicht oder nur sehr ungern auf ne Backplane verzichten mag.
Dazu kommt noch dass die Kühlung von 8 Platten oder mehr im Fileserver mit Wasser (Anschaffung entsprechender Anzahl Wasserkühler für Festplatten) ziemlich teuer kommt.

Vielleicht kannst du ja die ein oder andere meiner Fragen im Verlauf des Projekts beantworten bzw lösen.

Aber auch unabhängig davon will ich dein Vorhaben auf jeden Fall weiter verfolgen.

[Gohst_oc]

Die Idee ist zwar endgeil, aber Highest Flow ist Pflicht.

Ich bin noch nicht so ganz überzeugt, dass es keine Rolle Spielt wegen der Reihenfolge. Also das Wasser wäre dann unten vielleicht zu warm.

Oder irre ich mich?
Und da werden wohl 2-3 MoRa 2 nötig sein.

Nun, mit T-Stücken und Kupplungen könnte man schon Server-Hotswap ermöglichen.
Aber das wird wohl jenseits von gut und böse sein was die Kosten anbelangt.
Tipp: Kugelhanen.

[Neptun]

Allerdings hab ich mir eine Frage gestellt die du dir nicht stellst (auch nicht stellen musst aber uninteressant wärs nicht):
Wie kann man die Server geschickt so in die Wasserkühlung integrieren, dass man bei X Systemen die gemeinsam an einer Wakü laufen mal eins im laufenden Betrieb abklemmen kann ohne den Kreislauf zu unterbrechen und ohne mit Wasser in der Gegend rum zu sauen?

Auf die Frage hatte ich gewartet

Guckst du hier:
http://www.meisterkuehler.de/forum/v...tml#post395661

Und da werden wohl 2-3 MoRa 2 nötig sein.
.

Nö
Das hier sollte ausreichen:



Morgen gibt es eine ausführliche Antwort auf die Fragen .. muss jetzt weg nach Hause

[H_M_Murdock]

Die Kupplung mit dem Ventil drin leuchtet ein.
Aber wenn mans richtig "krass" machen will braucht's auch noch entsprechende T-Stücke damit man einen alternativen Weg bauen kann den das Wasser nehmen kann wenn ein Server fehlt.
Kostenmäßig sicherlich nicht gerade günstig aber technisch sicherlich 'ne gewisse Herausforderung.

Man kann die beiden vom aus dem Kreislauf getrennten Server abgezogenen Schläuche natürlich auch einfach nachm abziehen schnell zusammenstecken dann ist der Kreislauf genauso geschlossen.

[Gohst_oc]

Man kann die beiden vom aus dem Kreislauf getrennten Server abgezogenen Schläuche natürlich auch einfach nachm abziehen schnell zusammenstecken dann ist der Kreislauf genauso geschlossen.

Da überall AGBs drinn sind, kein halte ich das für realistisch. Also kein Stau im Schlauch.

[DiePike]

m.M.n. zu viele AGBs

[underclocker2k4]

Bitte Bilder an die Bilderregeln anpassen. 900x900Pix @400kb.

[MAFRI]

Bei der Pumpe das würd ich ehr auf 2-3 in Reihe setzten, falls mal was ausfällt.

Mfg
MAFRI

[Neptun]

Und da fällt mir auch noch ne zweite Frage ein:
Kommt so ne Kiste komplett ohne Luftstrom im Gehäuse aus?
Wenn wirklich alles (incl Chipsatz, HDDs, VRMs etc) mit Wasserkühlern versehen ist sicherlich.

nein,ganz ohne Lüfter kommen nicht alle PCs / Server aus. Aber die Lüfter, die dann eingesetzt werden, können leise bei 700 bis 90 upm drehen und machen nicht mehr so einen Lärm.

Bei der Festplattenkühlung ist dann immer noch n Faktor da der mich stört: Backplanes.

was meinst du mit Backplanes jetzt genau ?

Vielleicht kannst du ja die ein oder andere meiner Fragen im Verlauf des Projekts beantworten bzw lösen.

Fragen ? Fragen !

Aber auch unabhängig davon will ich dein Vorhaben auf jeden Fall weiter verfolgen.

Die Kupplung mit dem Ventil drin leuchtet ein.
Aber wenn mans richtig "krass" machen will braucht's auch noch entsprechende T-Stücke damit man einen alternativen Weg bauen kann den das Wasser nehmen kann wenn ein Server fehlt.

schau dir oben mal die Skizze an und dann erkläre mir das mit dem T-Stück nochmal. Das habe ich nicht ganz verstanden...

Kostenmäßig sicherlich nicht gerade günstig aber technisch sicherlich 'ne gewisse Herausforderung.

ja leider

m.M.n. zu viele AGBs

warum ?
jetzt wegen der Optik, oder einen Technischen Grund ?

Bei der Pumpe das würd ich ehr auf 2-3 in Reihe setzten, falls mal was ausfällt.

Mfg
MAFRI

2-3 Wasserpumpen in Reihe, oder was genau meinst du ?!

Bitte Bilder an die Bilderregeln anpassen. 900x900Pix @400kb.

done

[TBird]

Wegen den AGBs:

Technischer Grund. Einer reicht.

[Neptun]

Einer reicht --> da gebe ich dir recht, aber warte ab, bis der gesamte Serverschrank fertig ist, dann wird das ganze auch noch schön aussehen

[H_M_Murdock]

Mit Backplanes mein ich sowas:



Da ist einfach nix mit WaKü.
Und nen anständigen Luftstrom brauchts auch weil die Platine mit den Anschlüssen nem schwachen Luftstrom sicherlich im Weg wär.
Da seh ich leider keinen Weg an Luftkühlung vorbei solang's keine speziellen wassergekühlten Einschübe gibt.

Das mit den T-Ventilen muss ich dir mal aufskizzieren, hast du was dagegen wenn ich dazu deine Skizze "missbrauche"?

[michi2k]

Wäre man nicht auf der sicheren Seite wenn man versucht die Wasserbehälter möglichst weit unten im Serverschrank zu postieren und die Server/Elektronik oberhalb davon? Ich meine wenn da mal was schief läuft kannst du dir die Kugel geben. Ist bspw. eine Leitung nicht richtig angeschlossen oder löst sich durch unabsichtliches rütteln etc. läuft das Wasser so lange der Behälter leer ist und ergießt sich über die teure Hardware. Ich würde das nicht so machen.

[H_M_Murdock]

Interessanter Punkt, wichtig ist natürlich auch die Förderhöhe der Pumpe.
Wobei ich mir da grad absolut unsicher bin obs da nen Unterschied macht ob die Pumpe oben oder unten ist weil das Wasser ja auch wenn die Pumpe oben ist wieder rauf muss.

Eine Möglichkeit das "Fluten" der unter der "WaKü-Einheit" liegenden Server zu vermeiden wäre die WaKü-Einheit unten mit einer abgedichteten Wanne zu versehen die das Wasser auffängt und dann (mehr oder weniger) kontrolliert über einen Schlauch aus der Wanne nach unten ablaufen zu lassen.

[Neptun]

Mit Backplanes mein ich soetwas:

Da ist einfach nix mit WaKü.

jepp, das stimmt ...
Ich kühle meine 3 HDDs im Server mit einer speziellen HDD Wasserkühler.
Damit habe ich die letzten 5 Jahre gute Erfahrungen gemacht

Das mit den T-Ventilen muss ich dir mal aufskizzieren, hast du was dagegen wenn ich dazu deine Skizze "missbrauche"?

nö, überhaupt nicht .. hau rein .. bin neugierig

Ich meine wenn da mal was schief läuft kannst du dir die Kugel geben.

Es läuft nix schief, die Wakü Teile sind von guter Qualität und in den letzten 9 Jahren hatte ich noch kein Wakü Supergau

Ist bspw. eine Leitung nicht richtig angeschlossen oder löst sich durch unabsichtliches rütteln etc. läuft das Wasser so lange der Behälter leer ist und ergießt sich über die teure Hardware.

ja das stimmt, wird aber nicht eintreten, wenn man alles sorgfältig und in Ruhe zusammenbaut und anschließt

[michi2k]

Wobei ich mir da grad absolut unsicher bin obs da nen Unterschied macht ob die Pumpe oben oder unten ist

Pumpen allgemein lieber immer unten anordnen, die "Saugleistung" einer Pumpe ist der wesentlich beschränktere Faktor.

Die Saugpumpe hat theoretisch höchstens 10 m Saughöhe. Der äußere Luftdruck fördert das Wasser quasi. Eine Pumpe die das Wasser hoch "drückt" ist lediglich durch ihre Bauart begrenzt. Also eine Pumpe egal jetz ob bei der Wakü oder im Brunnen immer nach möglichkeit unten anbringen.

Es läuft nix schief, die Wakü Teile sind von guter Qualität und in den letzten 9 Jahren hatte ich noch kein Wakü Supergau

Ok das ist deine Hardware ich würde jeden auf die Finger hauen der mir so etwas "verkaufen" wollte Würde mir das wirklich nochmal gründlich überlegen, der Teufel steckt im Detail!

[Snuskhammer]

Welche Maße hat eigentlich der Serverschrank?
Danke.

[nate`]

Ich finde die Idee klasse und werde das Projekt weiter verfolgen!

Das einzige was mich persönlich stört sind die "billigen" Gehäuse ... die erwecken irgendwie den Eindruck, als hätte man sie gerade noch vorm Verschrotten gerettet. Wenn das schöne Chenbro/SuperMicro/etc. Gehäuse wären, dann würde das viel besser ankommen, da ja auch der Schrank gut aussieht - nur diese 20€-eBay-Gehäuse halt nicht :-)

[H_M_Murdock]

So ich hab die Skizze in Sachen "Hotplug" mal angepasst.



Zur Erklärung:
Die blaue Leitung ist die "Standardleitung", im Prinzip wie sie von Neptun auch geplant war.

Neu sind jetzt die gelben Ventile und die roten "Umgehungsleitungen".
Wenn ein Server abgezogen wird fließt das Wasser durch die rote Leitung statt in den Server (der dann ja nicht da ist), ist ein Server angeschlossen nimmt das Wasser den normalen Weg durch den Server und die rote Leitung wird nicht verwendet.

[chrissi1106]

@nate,

wenn ich mich nicht irre sind die mittleren Cases sogar etwas ältere Chenbro...Aber n Schönheitspreis gewinnen die echt nicht (was aber meines erachtens nich so nötig ist) ... aber plastikbomber sehen sie halt aus

[underclocker2k4]

Die ganzen Ausgleichsbehälter sind relativ sinnlos.

Der AGB soll ja dafür sorgen, dass Wasserverlußt, den man ja fast zwangsläufig hat, über einen gewissen Zeitraum ausgeglichen wird.

Dadurch, dass man letztendlich einen Kreislauf hat, weden die "unter" AGBs ständig voll sein und der Haupt AGB gleicht aus, wozu also "unter" AGBs nutzen, wenn die eh nutzlos sind, da eh immer voll.

Daher ganz klar der Tipp, raus damit.
Das nächste Problem ist, dadurch dass der 1. AGB voll ist, Pumpt die Pumpe mit voller Kanne in den AGB rein, baut da einen Überdruck auf und der geht dann in den Kreislauf weg. Die Konsequenz ist, dass der AGB unter Druck steht. (Der AGB ist einfach nur eine Verdickung im Schlauchsystem, nichts weiter.) Und dadurch, dass die für den Kreislauf schon ordentlich Druck brauchst, geht halt nen entsprechend hoher Druck in den AGB und das kann bei AGBs schon ein Problem werden.

AGB werden normalerweise immer Drucklos gehalten, da die Pumpe in der Regel aus dem AGB absaugt und dann erst in System reindrückt. Auf der anderen Seite fließt das Wasser ganz entspannt in den AGB rein. Man kann also den AGB auch (oben) aufmachen und es geht trotzdem.

Daher, aus 2 Punkten(im Untersystem keine Funktion, und ständig unter Betriebsdruck) heraus, würde ich auf die Unter AGBs verzichten und lieber einen großen AGB oben einbauen.

Da es sich hier um ein offenes System handelt, muß der AGB oben hin, da Luft bekanntlich leichter ist als Wasser und sich somit oben im System sammelt und wenn du oben einen Schlauch hast, dann hast du in dem Schlauchstück Luft und mit dieser Luft kann die Pumpe nicht arbeiten. (wenn das Luftpolster entsprechend groß ist)

Unterhaltet euch mal mit einem "Gas-Wasser-Scheiße"-Installateur über geschlossene und offene Heizungssysteme. Wenn Ausdehnungsgefäß kein Druckbehälter, dann Ausdehnungsgefäß ganz oben. (Ausdehnungsgefäß entspricht unserem AGB)

EDIT:
Auf jeden Fall klare Schläuche benutzen, damit du beim Reinhängen nachvollziehen kannst, wann das Wasser durch das neue System durch ist. Solange das Wasser nämlich nicht durch ist, laufen die Systeme drunter leer. Und das ist kontraproduktiv.

Ein solches Wakü-System ist eine komplexe Angelegenheit, da muß man einiges mehr beachten als bei einem Single-System.

( angepasste Bilder)

[Neptun]

Pumpen allgemein lieber immer unten anordnen, die "Saugleistung" einer Pumpe ist der wesentlich beschränktere Faktor.

ich denke mal, in einem geschlossenen Wakü Kreislauf ist das später, wenn alles entlüftet ist, nicht mehr so wichtig, wo die pumpe steht

Die Saugpumpe hat theoretisch höchstens 10 m Saughöhe. Der äußere Luftdruck fördert das Wasser quasi. Eine Pumpe die das Wasser hoch "drückt" ist lediglich durch ihre Bauart begrenzt. Also eine Pumpe egal jetz ob bei der Wakü oder im Brunnen immer nach möglichkeit unten anbringen.

siehe oben

Ok das ist deine Hardware ich würde jeden auf die Finger hauen der mir so etwas "verkaufen" wollte

ich auch

Würde mir das wirklich nochmal gründlich überlegen, der Teufel steckt im Detail!

Den teufel habe ich schon mehrmals gesehen, aber noch richtig kennengelernt .... aber noch sind erst 35% des Projektes fertig -> der Tuefel hat also noch genug Gelegenheiten

Welche Maße hat eigentlich der Serverschrank?
Danke.

1,36m hoch
60cm breit
1,00 m tief

Das einzige was mich persönlich stört sind die "billigen" Gehäuse ... die erwecken irgendwie den Eindruck, als hätte man sie gerade noch vorm Verschrotten gerettet.

stimmt ... aber die Fronten werden später alle nochmal komplett neu gespritzt.

Wenn das schöne Chenbro/SuperMicro/etc. Gehäuse wären, dann würde das viel besser ankommen,

stimmt auch ... aber in anbetracht der Kosten für solche Gehäuse muss man sich entscheiden, was man(n) mit seinem Geld alles kaufen will.

da ja auch der Schrank gut aussieht - nur diese 20€-eBay-Gehäuse halt nicht :-)

aber nur ein Fachmann erkennt den Unterschied ... und das war / ist mein Plan

@nate,

wenn ich mich nicht irre sind die mittleren Cases sogar etwas ältere Chenbro...

Treffer, versenkt !

Die ganzen Ausgleichsbehälter sind relativ sinnlos.

das haben wir schon oben geklärt.

Der AGB soll ja dafür sorgen, dass Wasserverlußt, den man ja fast zwangsläufig hat, über einen gewissen Zeitraum ausgeglichen wird.

stimmt

Dadurch, dass man letztendlich einen Kreislauf hat, weden die "unter" AGBs ständig voll sein und der Haupt AGB gleicht aus, wozu also "unter" AGBs nutzen, wenn die eh nutzlos sind, da eh immer voll.

genau richtig und das ist auch mein Plan. Sieh das ganze nicht von der technischen Seite .. warte ab, was noch kommt

Das nächste Problem ist, dadurch dass der 1. AGB voll ist, Pumpt die Pumpe mit voller Kanne in den AGB rein, baut da einen Überdruck auf und der geht dann in den Kreislauf weg. Die Konsequenz ist, dass der AGB unter Druck steht. (Der AGB ist einfach nur eine Verdickung im Schlauchsystem, nichts weiter.) Und dadurch, dass die für den Kreislauf schon ordentlich Druck brauchst, geht halt nen entsprechend hoher Druck in den AGB und das kann bei AGBs schon ein Problem werden.

kann, muss aber nicht. In meinen Vorabtests hat das zu mindestens gut funktioniert.

AGB werden normalerweise immer Drucklos gehalten, da die Pumpe in der Regel aus dem AGB absaugt und dann erst in System reindrückt. Auf der anderen Seite fließt das Wasser ganz entspannt in den AGB rein. Man kann also den AGB auch (oben) aufmachen und es geht trotzdem.

Daher, aus 2 Punkten(im Untersystem keine Funktion, und ständig unter Betriebsdruck) heraus, würde ich auf die Unter AGBs verzichten und lieber einen großen AGB oben einbauen.

Da es sich hier um ein offenes System handelt, muß der AGB oben hin, da Luft bekanntlich leichter ist als Wasser und sich somit oben im System sammelt und wenn du oben einen Schlauch hast, dann hast du in dem Schlauchstück Luft und mit dieser Luft kann die Pumpe nicht arbeiten. (wenn das Luftpolster entsprechend groß ist)

Unterhaltet euch mal mit einem "Gas-Wasser-Scheiße"-Installateur über geschlossene und offene Heizungssysteme. Wenn Ausdehnungsgefäß kein Druckbehälter, dann Ausdehnungsgefäß ganz oben. (Ausdehnungsgefäß entspricht unserem AGB)

ja, das stimmt auch alles und ich stimme dir 100% zu, aber warte noch etwas ab, das ganze Wakü Thema kommt ja erst, wenn die Hardware komplette eingebaut und installiert ist.

Ein solches Wakü-System ist eine komplexe Angelegenheit, da muß man einiges mehr beachten als bei einem Single-System.

100% zustimm

[underclocker2k4]

@nicht aus technischer Sicht betrachten

Aus technischer Sicht sind die AGBs total sinnlos und sorgen für mehr Problem als sie nutzen. Die haben nämlich keinen Nutzen.

Was für nen Waküthema soll denn noch kommen? Das ist doch das Thema des Threads, oder? Deine Wakü im 19" Rack.

[coolnik]

Hmmm....

1. Wieviel TDP soll denn der arme 1080er Radi kühlen? Das werden ja schon bestimmt paar hundert Watt sein. Ob das klappt ka - hab selber jetzt keine WaKü könnte mir aber vorstellen, dass das ein Problem darstellen könnte, wenn auch noch Ram und Chipsatz dranhängen.

2. Wäre es nicht besser den Radi unten zu platzieren? Immerhin produzieren die Server im Schrank ja weiterhin die gleiche Hitze die dann nach oben steigt -> Hitzestau (der Radi kühlt die Server mit deren Abwärme xD)