Mein HomeServer Upgrade

[luckyspiff]

Moin,

nachdem mein HP ProLiant ML10v2 mit Xeon(R) CPU E3-1231 v3, 32GB ECC Memory und 3x8TB HDD langsam in die Jahre gekommen ist, baue ich mir gerade einen neuen Home-Server auf.

Auf dem aktuellem Server läuft Proxmox als NAS (NFS und SMB) und für diverse Container-Anwendungen (Paperless, Immich, Media-Server, Heimautomatisierung, etc.). Ein noch älterer HP ProLiant MicroServer N40L wird ab und zu eingeschaltet um Backups zu machen (via ZFS simplesnap).

Mein Plan ist den neuen Server zusammen mit dem alten im Cluster zu betreiben und auch so die Container zu migrieren. Um das Quorum zu erfüllen steht noch ein Wyse 5070 ThinClient hier, auf dem aktuell ebenfalls Proxmox mit HomeAssistant läuft.

Ziel des neuen Servers ist mehr Leistung bei weniger Stromverbrauch und das Ganze soll natürlich bezahlbar bleiben. Auch will ich unbedingt wieder ECC-Memory haben (ich weiß, wird kontrovers diskutiert, aber mit ZFS ist mir das wichtig), was in Verbindung mit "Bezahlbar" nicht ganz einfach ist.

Hier bin ich bisher gelandet:

- Asus Prime B550M-A Motherboard
- AMD Ryzen 5 Pro 4650G Prozessor (6 Kerne / 12 Threads)
- 64GB (2x32GB) ECC Memory DDR4, 3200 MT
- 256GB Boot SSD
- PicoPSU 160W
- 2x12TB Seagate ST12000NM0127 (refurbished Platten)
- 2x8TB WD80EMZZ (alternative zu den Seagate)

Die Board/CPU Generation hat deutlich mehr Bums als der Xeon im ML10v2, bei weniger Stromverbrauch.. Zudem ist der Speicher bis 128GB ECC Memory ausbaubar, beim Xeon war bei 32GB Ende.

Im Laufe der letzten 15 Jahre habe ich drei Platten im ZFS Verbund getauscht, weil die SMART-Werte nicht mehr optimal waren. Was mich beim ML10v2 hier gestört hat, war, dass die Platten geschraubt und nicht gesteckt sind. Tausch der Platte ist also jedes mal mit deutlich mehr Aufwand verbunden als sie einfach zu stecken.

Im Zuge meiner Recherchen habe ich einige Hotswap Drive-Bays zum 3D-Drucken gefunden. Dieses hier ist sogar mit den HDD-Caddys von Dell kompatibel, die es relativ günstig als Clone bei Ali gibt. Allerdings hatte ich mir die falschen bestellt, die zu kurz waren. Ich dachte bei Dell wäre alles gleich und hab nicht aufgepasst was in der Beschreibung steht. Statt nochmal die richtigen zu bestellen und wieder Wochen zu warten, hab ich mir das Bay dann selbst konstruert für die bestellten Caddys. Hinten stecken übrigens nur normale SATA/Stromkabel drinnen statt einer richtigen Backplane, funktioniert aber soweit zuverlässig.

Da das mit dem 3D-Druck des Bays gut funktioniert hat, habe ich begonnen den Rest auch noch zu konstruieren und zu drucken. Kunststoff ist aus EMV-Gründen zwar nicht das optimale Gehäuse-Material, aber bisher funktioniert die Geschichte ganz gut und ggf. kann ich ja immer noch auf ein fertiges Metallgehäuse umsteigen oder den Rechner in ein Metall-Rack stellen.

So sieht das Ganze aus:

Durch die Verwendung des relativ großen uATX Formats ließen sich auch noch Netzwerkkarte oder weitere SATA Controller ergänzen.

In den Rahmen sind Magnete eingelassen, die die Panels halten, mit denen das ganze dann auch optisch nicht so scheiße aussieht:

Im bisherigen Probebetrieb funktioniert der Rechner sehr gut. Stromverbrauch im Idle ohne Platten (mit PicoPSU) etwa 16 Watt, mit zwei Platten dann 26 Watt. Die PicoPSU packt auch den relativ hohen Anlaufstrom, beim Einschalten zieht das System mit vier Platten kurzzeitig mal 105 Watt, es ist also noch etwas Luft nach oben.

Da ich der PicoPSU nicht ganz traue, habe ich ins Gehäuse noch ein altes 350W ATX Netzteil (Enermax 82+ Pro) integriert, das derzeit nicht anmgeschlossen ist. Wenn die PicoPSU also den Geist aufgibt, kann ich bei ca. 5 Watt mehr Verbrauch leicht auf das andere Netzteil umbauen.

 

[luckyspiff]

Zu den Kosten:

Board, CPU, SSD und 16GB Nicht-ECC Speicher konnte ich gebraucht bei ebay für 200 Euro ergattern (da hat wohl jemand seinen Gaming-PC ge-upgraded).

Für 2x32GB ECC Memory hab ich noch mal ca. 214 Euro bezahlt.

PicoPSU gab es für <20 Euro und ein 12V/120W Netzteil für ca. 30 Euro.

Die 8TB WD Platten habe ich aus WD Elements Desktop-USB Platten ausgebaut (shucking heißt das glaub ich). In den WD USB Desktop Platten sind i.d.R. Server HDDs verbaut, die, wenn man den idle3 Timer hochgesetzt hat, viele Jahre zuverlässig in 24/7 laufen. Natürlich ohne Garantie, aber eine 8TB Platte mit Garantie kostet ca. 250 Euro und die WD Elements ca. 160 Euro (gab es schon deutlich günstiger). Früher habe ich mir die teueren WD Red Server Platten gekauft, aber nachdem ich einen Garantiefall bei WD eingefordert hatte, was ziemlich umständlich war und als Austausch auch nur eine mäßig gute recertified Platte zurück gab, habe ich beschlossen auf die Garantie zu pfeiffen und mir lieber ein paar Platten in Reserver "auf Halde" zu legen.

Mit den 12TB Refurbished Segate Platten von ebay habe ich noch keine Erfahrungen, das war mal ein Tipp hier im Forum, haben etwa 100 Euro das Stück gekostet (Preisvorschlag). Sie haben bisher keine Lesefehler und gute SMART-Werte, ich denke die laufen auch noch gut ein paar Jahre. Aktuell habe ich ohnehin nicht so viele Daten, komme mit 8TB noch ganz locker aus, aber lieber haben aus brauchen.

Das 3D-Druck Gehäuse darf man nicht rechnen, vom reinen Material (Filament, Schrauben und Strom) vielleicht 20-40 Euro. Aber vor allem für die Konstruktion und den Druck ist da viel Zeit reingeflossen. Ganz nach dem Motto "Hobby heißt mit maximalen Aufwand ein fragwürdiges Ergebnis erzielen" ;-)

 

[pwnbert]

Beim Gehäuse alles selbst gezeichnet / entworfen? Ja, bis auf den HDD Caddy, gel?
Hatte sowas auch schon überlegt, und mach sowas auch ganz gern, hab dann aber doch bissl zurückgeschreckt vor dem ganzen ATX Kram...
Ist halt geil, wenn man am Ende das hat, was man sich vorgestellt hat, und nicht irgend nen Kompromiss.


CPU wäre natürlich ein 5650/5655G//5750/5755G die optimale Leistung pro Stromverbrauch gewesen, aber bei dem Preis kann man nicht meckern und real wird da kein Unterschied sein.
Der RAM ist auch teuer geworden, ich hab mich in einem Anflug von Größenwahn noch in DDR4 ECC um 75€/32er Riegel eingedeckt vor 2 Jahren...

Find spannend zu sehen, dass Zen 3 Cezanne (und eben sogar Zen 2 in deinem Fall) immer noch ziemlich gut in dem Sektor zieht...
So der Sweetspot zwischen Verbrauch / Rechenleistung / Ausstattung / Features / Preis ist schon nice.

 

[luckyspiff]

Ja, alles selbst gezeichnet. Sind auch ein paar "Bugs" drin, die mich aber nicht stören, weil man es nicht sieht. Aber vielleicht gibt's mal eine weitere Version, dann werden die Bugs beseitigt...

Die HDD Caddys sind diese hier, hab 25 Euro für vier Stück gezahlt:

3,5

Smarter Shopping, Better Living! Aliexpress.com

de.aliexpress.com

CPU wäre natürlich ein 5650/5655G//5750/5755G die optimale Leistung pro Stromverbrauch gewesen, aber bei dem Preis kann man nicht meckern und real wird da kein Unterschied sein.

Können diese dann auch mit ECC RAM umgehen? Ich dachte das können nur die "Pro" Varianten. Einen Ryzen 7 5700G hab ich hier in einem Desktop, könnte ihn also auch tauschen, da ich die Kerne am Desktop eigentlich nicht brauche.

Der RAM ist auch teuer geworden, ich hab mich in einem Anflug von Größenwahn noch in DDR4 ECC um 75€/32er Riegel eingedeckt vor 2 Jahren...

Ja, leider sehr teuer geworden. Ich hab ja zuerst 32GB (2x16) bei Amazon bestellt, aber dann erst gesehen, dass es im März 2026 erst geliefert wird. Hab noch nicht storniert, vielleicht brauch ich ja 96GB ;-)

 

[BobbyD]

Können diese dann auch mit ECC RAM umgehen?

Ne.

 

[pwnbert]

Können diese dann auch mit ECC RAM umgehen? Ich dachte das können nur die "Pro" Varianten. Einen Ryzen 7 5700G hab ich hier in einem Desktop, k

Ne.

Doch.

Wenn du nämlich nochmal liest, steht da 5650G und 5750G und nicht 5600G und 5700G - die -50 sind die Pro, genau so, wie es beim 4600G und 4650G schon war.

Der 5700G natürlich nicht.

 

[BobbyD]

die -50 sind die Pro

Stimmt. Du würdest es allerdings von vornherein weniger spannend machen, wenn Du gleich Pro dazu geschrieben hättest...

 

[pwnbert]

Na komm, das ist dem typischen Leser hier aber nix neues.
Beim 8000er ist das richtig spannend, das ist so ein Chaos dort...

 

[BobbyD]

Beim 8000er ist das richtig spannend

Vor allem hat AMD die PCIe-Lanes stark beschnitten bei den APUs. Oder anders gesagt, AMD ist jetzt intel. Seit AM5 macht es keinen Sinn mehr, einen sparsamen und potenten Homeserver damit zu bauen. Für Mini-PCs und Notebooks mögen diese APUs ja noch taugen, aber nicht mehr für mein Hobby.

 

[luckyspiff]

Hab mir gestern einen 5650G bei ebay geschossen. Nicht, weil der 4650G zu schwach wäre, aber ich denk ich bau mir den Server nochmal, damit ich dann die Proxmox Cloud machen kann ;-)

 

[luckyspiff]

Der 5650G ist jetzt da und ich hab mir auch gleich noch ein Board geschossen, damit ich den Server noch ein zweites mal aufbauen kann. Das Board ist ein ASRock B550M PG RIPTIDE. Die Kombination schluckt nun aber statt 15-16 Watt gleich über 20 Watt. Ich frage mich jetzt, ob der 5650G mehr schluckt oder das Board dran schuld ist? Die Boards mit B550M Chipsatz sollten ja eigentlich ziemlich ähnlich im Verbrauch sein, oder? Also vermutlich doch die CPU? Werde ich bei Gelegenheit mal testen, indem ich die CPUs tausche, aber da hab ich jetzt keine Zeit&Lust zu...

 

[pwnbert]

Schwierig, Bios schon durchgeackert? Musst dich mal durch diese ganzen Energiesparsettings im Bios fuchsen, RGB und unnötigen Kram abdrehen und so.
Ich hab das "große" Riptide mitm 5750G, ist allerdings lang her, dass ich das hab "nackt" laufen lassen... das Ding trägt momentan die Hauptlast, kann da schwer messen.

Dann hab ich noch nen 5650G im "teuren" B550 ITX-Asrock (das mit der besseren Ausstattung), da komm ich mit Linux deutlich unter 20W mitm TFX Gold BQ.

Kann fast nicht glauben, dass das Riptide M so viel schlechter wäre (Asus TUF M gäbe es noch, Trambahner hat/te sowas, wenns um ne Alternative ginge).
Ich glaub allerdings an irgendwelche vermurksten Settings.

PS: Curve Optimizer kann man dem Cezanne idR. ordentlich geben, Windows 10 per Rufus aufn Stick installieren fürn Core Cycler und Stabilitätstest... wenn man denn Bock auf sowas hat.

 

[luckyspiff]

RGB hab ich natürlich ausgeschaltet. Und in den ACPI Einstellungen hab ich jetzt mal den Sleep-Mode in S4 und S5 aktiviert. Komm aber trotzdem nur auf knapp 20 Watt (PicoPSU).

 

[pwnbert]

Mh, da gibts doch noch einen ganzen Arsch voll anderer Einstellungen, oder nicht?
Hast das gleiche Pico-PSU beim anderen auch?

Hast bissl laufen lassen, dass sich das einpendelt?

5650G mit B550 Arsrock ITX und räudigem Chieftec TFX Netzteil, mit dem BQ warens nochmal 3-4W weniger:

Anfängerfragen - Linux Neuling? Hier ist der richtige Platz für deine Fragen (2)

Ich verwende KDE. Aber Clonezilla habe ich schonmal gehört, darüber werde ich mich schlau machen und als Live-USB-Stick wäre es eh eine gute Lösung.

www.hardwareluxx.de

Imho sollten es so 15-20W sein, ich hätte da so ca. 17W erwartet.

 

[luckyspiff]

Die Einstellungen im OC-Bereich fass ich nicht an und sonst hab ich nicht viel gefunden...

Aber ich habe heute noch ein ITX Board mit einem 4650G bekommen, da hab ich auch gleich mal Proxmox drauf. Braucht gerade mal 14 Watt. Das Board ist ein Biostar B550T Silver, die CPU passiv gekühlt. Hab aber noch nen Lüfter drauf gelegt, weil es sonst recht warm wird (56 Grad, mit Lüfter gerade mal 24 Grad). Aber 14 Watt sind eine Ansage (mit Lüfter!). Da werd ich demnächst mal die CPUs tauschen um zu sehen, was das ausmacht.

Das ASRock Board hat sowieso Zicken gemacht, z.B. erkennt der Installer nicht, dass nur ein FullHD Monitor dranhängt und schaltet dann auf 2540x1440@60Hz um, was bei dem Monitor nur ein schwarzes Bild zeigt. Kann man alles umgehen, aber diesess Biostar Board hat das Problem nicht. Obs am BIOS oder der CPU liegt, weiß ich nicht. Auch um das auszuprobieren werd ich mal die CPU tauschen.

Problem ist natürlich, dass ich für das kleine ITX Format wieder ein neues Gehäuse zeichnen muss. Also eher was für die freien Tage im Dezember...

 

[pwnbert]

Die Einstellungen im OC-Bereich fass ich nicht an und sonst hab ich nicht viel gefunden...

Naja, nix zum füchten, aber wird wsl. auch nix bzw. wenig bringen... wobei... müsste man halt testen.

Braucht gerade mal 14 Watt.

Nice.

Problem ist natürlich, dass ich für das kleine ITX Format wieder ein neues Gehäuse zeichnen muss. Also eher was für die freien Tage im Dezember...

Warum, ist kompatibel, die Blende ist gleich und die Löcher auch, nur weniger... ausser du hast nicht alle Löcher fürs µATX auch genutzt, dann musst aber nur die Löcher dazu machen (bzw. eben Streben mit den Löchern drin oder so).


Und ja, tausch mal, bin neugierig, was sich tut.


Kann mir fast nicht vorstellen, dass das Asrock so schlecht ist, meine laufen gut... aber gut, wer weiss.

 

[luckyspiff]

Warum, ist kompatibel, die Blende ist gleich und die Löcher auch, nur weniger...

Schon, aber ich will ja nicht so ein riesen Gehäuse, wenn ich schon so ein kleines schickes Board habe. Gut, ich muss nicht alles neu ausmessen und konstruieren, aber ich zeichne mir da schon ein neues, kleineres Gehäuse für... vielleicht nicht in den nächsten zwei Wochen, aber vielleicht im Weihnachtsurlaub...

Und ja, tausch mal, bin neugierig, was sich tut.

Hab ich jetzt gerade gemacht. Es bestätigt sich aber, dass die CPUs im Verbrauch fast gleich sind, d.h. das ASRock Board einfach 2-3 Watt mehr zieht als das Biostar Silver ITX Board. Mag ja sein, dass man da im BIOS noch was tricksen kann, aber ich hab nix gefunden und auch keine Lust all die Overlocking-Optionen durchzutesten.

Übrigens hat sich durch den Einbau einer zweiten SSD (2GB WD-Black SD850X) der Verbrauch um ca. 1,5 Watt erhöht. Die SSD ist aber in beiden Rechnern drin, im ITX steckt sie halt in einer Riser-Karte.

Damit ist mein Entschluss auch gefallen, dass das neue, kleine ITX-Board mein neuer Server wird. Aus dem ASRock wird dann wohl noch so eine Gaming Linux-Kiste oder einfach ein Backup-Server, den ich ab und an einschalte, mal sehen.

Kann mir fast nicht vorstellen, dass das Asrock so schlecht ist, meine laufen gut... aber gut, wer weiss.

Ist ja nicht unbedingt schlecht deswegen. Aber was mir aufgefallen ist, sind eben die zwei Sachen: Stromverbrauch und im Linux-Installer wird bei meinem Full-HD Monitor offenbar die Auflösung nicht korrekt übergeben, weil der dann 2540x1440@60Hz bekommt und kein Bild mehr anzeigt. Tatsächlich ist dies bei dem ITX Board nicht der Fall. Könnte mir vorstellen, dass da die Verschaltung zwischen HDMI-Stecker und CPU irgendwie anders gelöst ist (hatte ja auch die CPU als Verdächtigen im Auge, aber das ist nun ausgeschlossen, da sie im ITX Board korrekt läuft).