[Kaufberatung] Nachfolger für N54L auf Basis AMD Epyc gesucht

[littledevil]

Die Zertifizierung betrachtet aber nicht den Lastbereich bei 10% d.h. 55W bei einem 550W Modell.
Kommt natürlich drauf an, wo dein server letztendlich im idle landet. Das Corsair ist speziell auf den Lastbereich ab 2% optimiert d.h. bei systemen mit 10-20W idle besonders von vorteil.

Intel Xeon sind pot. im idle sparsamer als die Ryzen, aber unter Last verbrauchen die dann mehr.- Kommt drauf an, in welchem Bereich dein server mehr ist.
Mein nakter Server kommt ohne HDD auf 3W idle mit i3 8100. Mit XEON und ECC RAm schafft man sowas aber nicht. Da ist man dann min bei 10W

 

[Trambahner]

Die Intel haben typischerweise auch Vorteile, wenn es um PCI-Passthrough der iGPU in eine VM geht. Ich meine, das geht seit Skylake. Bei AMD APUs geht das typischerweise nicht.
Auch ist das Nutzen von ECC und Berichten von Speicherfehlern ans OS teilw. wackeliger bei AMD.

Vorteil AMD AM4: bis zu 16 Hochperformante, für die Leistung preisgünstige Kerne, die auch sehr hoch boosten können und dabei bei der Leistungsaufnahme im Rahmen bleiben.

Beide Plattformen haben Vor- und Nachteile.

 

[Simsi1986]

@littledevil Ok, heißt dann doch in Tests genauer schauen bzw. hoffen, dass der Wirkungsgrad über den kompletten Lastbereich von 0 bis 100 % aufgeführt wird.

Wo sich der neue Server im Schnitt aufhalten wird lässt sich derzeit schwer sagen, gefühlt wohl eher nahe am Idle. Kann aber durch Storage Spaces Direct anders ausgehen, da mir hier noch die Erfahrung fehlt. Eines der Ziele des Servers ist das zu ändern

@Trambahner
Verstehe, da ich die GPU weglasse und es wohl auch keine APU wird, komme ich hier schonmal nicht in Probleme, sollte ich bei AMD bleiben.
ECC dann schon eher Thema, sonst kann ich mir den Aufpreis dafür auch sparen.

Egal ob am Ende AMD oder Intel bin ich dann gespannt, welcher Vebrauch dann via Fritz!DECT 200 ermittelt wird. Im Moment sind es ca. 65 Watt ohne aktiv am Server zu arbeiten. Davon muss man noch den Verbrauch des Netgear GS108 abziehen - dann sind es ca. 60 Watt. Dazu sei gesagt, dass der N54L auf Grund seiner Schwachbrüstigkeit selbst im Idle viel zu schaffen hat. Per RDP verbunden und bloß Task- und Hyper-V-Manager geöffnet sind es min. 20 % CPU-Auslastung, im Schnitt eher 30 %. Die Auslastung der VM liegt min. bei 10 % CPU lt. Konsole und im Schnitt bei 15 %.

Habe die Wunschliste bei Geizhals nochmal angepasst:
Heimserver Selfmade Ryzen SATA intern II für derzeit ca. 3350 EUR bestehend aus folgenden Komponenten:
1x ASRock Hyper Quad M.2 Card (90-MCA0G0-00UANZ)
2x Seagate Exos X - X18 18TB, 512e/4Kn, SATA 6Gb/s (ST18000NM000J)
1x Crucial P5 SSD 1TB, M.2 (CT1000P5SSD8)
4x Crucial P5 SSD 2TB, M.2 (CT2000P5SSD8)
1x AMD Ryzen 7 PRO 5750G, 8C/16T, 3.80-4.60GHz, tray (100-000000254/100-100000254MPK)
2x Micron DIMM 32GB, DDR4-3200, CL22-22-22, ECC (MTA18ASF4G72AZ-3G2B1)
1x ASRock Rack X570D4U-2L2T
3x Noctua NF-A12x25 PWM, 120mm
1x Noctua NH-D15
1x Cooler Master Silencio S400, schallgedämmt (MCS-S400-KN5N-S00)
1x Seasonic Prime Fanless PX-500 500W ATX (PRIME-Fanless-PX-500)

CPU wie gesagt noch offen, ggf. auch Mainboard falls es ein Xeon wird.

 

[supernode]

@Simsi1986 Danke für die Auflistung.
zur Info: Die Exos gibts bei MF gerade im Angebot.

Hatte auch lange mit mir gehadert was ich nehmen soll.
- Ryzen: P/L gut aber eben Consumerplattform
- Epyc: Felixbel dafür in Anschaffung und Unterhalt teurer
- Xeon E: Da wäre dann preislich eigentlich nur der 4C interessant gewesen. Die Xeon Boards lassen noch auf sich warten oder sind privat nicht zu beziehen.

Letztlich ist es nun auch das Ryzen Setup geworden und hoffe dass die teils weniger positiven Erfahrungsberichte mit dem Board bei mir nicht auch zutreffen.

Für mich war der 5900X preislich am attraktivsten. Der Aufpreis auf den 5950X war mir zu hoch. Der 5800X war mir fast schon zu klein da das System (hoffentlich) einige Jahre laufen soll und da sicher mit der Zeit einige VMs drauf laufen müssen. Die Leistungsaufnahme gegenüber den kleineren Brüdern sehe ich nicht problematisch. Im Idle geben die sich nicht viel - vllt. werde ich ihn auch künstlich beschneiden aber das sehe ich dann. Die G-Modelle habe ich absichtlich nicht genommen da (soweit ich es gelesen habe) nicht vernünftig virtualisier-/durchreichbar. Dann lieber das Geld bei Bedarf in eine kleine Graka gesteckt.
Das Netzteil hab ich etwas überdimensioniert so dass ich das auch für einen normalen Rechner verwenden könnte.

 

[Simsi1986]

@supeernnode
Danke, gleich mal mitgenommen - die Platten sind ja definitiv fix.

Nachdem ich mir die ersten Berichte zum neuen Low-Cost Xeon angeschaut habe tendiere ich doch weiter zu AMD. Die aktuell bei mir im Heimserver genutzte CPU ist ja auch eher Consumer-Technik und von den Features her sollte der Ryzen am Ende auch locker ausreichen auch wenn mir der Epyc dann doch am liebsten wäre Schade, dass die Embedded und <150 Watt TDP Epycs nicht auch auf Zen2 umgestellt wurden. Da halten sich die Unterhaltskosten definitiv im Rahmen und der Anschaffungspreis ist auch ok.

Der 5900X ist bei mir derzeit auch in der engeren Wahl - wäre ein guter Kompromiss mit ordentlichen Reserven. Beim 5800X finde ich den Abstand zum 5600X relativ gering.
Nunja, andere wären froh über solche Probleme, sich entscheiden zu müssen welche CPU im Heimserver landen soll

 

[sch4kal]

@supeernnode
Danke, gleich mal mitgenommen - die Platten sind ja definitiv fix.

Nachdem ich mir die ersten Berichte zum neuen Low-Cost Xeon angeschaut habe tendiere ich doch weiter zu AMD. Die aktuell bei mir im Heimserver genutzte CPU ist ja auch eher Consumer-Technik und von den Features her sollte der Ryzen am Ende auch locker ausreichen auch wenn mir der Epyc dann doch am liebsten wäre Schade, dass die Embedded und <150 Watt TDP Epycs nicht auch auf Zen2 umgestellt wurden.

Die kannst du bei Epyc manuell begrenzen, ich kann als cTDP z.B. auch nur 100W eintragen, dann boostet er eben nur wenige Kerne oder gar nicht.

 

[Simsi1986]

@sch4kal
Danke für den Hinweis, wusste ich nicht und das relativiert zumindest den Nachteil bzgl. Verbrauch.
Muss meinen von dir zitierten Satz aber leider korrigieren - meinte nicht Zen2 sondern Zen3.

Also, besagter Satz in anderen Worten: Schade, dass es bloß Zen3 Epycs >1000 EUR gibt und die preislich für mich interessanten Eypcs noch auf Zen2 basieren und daher, abgesehen von der Anzahl der PCIe Lanes und der Speicherbandbreite nicht mit Zen3 Ryzen konkurrieren können.

 

[sch4kal]

@sch4kal
Danke für den Hinweis, wusste ich nicht und das relativiert zumindest den Nachteil bzgl. Verbrauch.
Muss meinen von dir zitierten Satz aber leider korrigieren - meinte nicht Zen2 sondern Zen3.

Also, besagter Satz in anderen Worten: Schade, dass es bloß Zen3 Epycs >1000 EUR gibt und die preislich für mich interessanten Eypcs noch auf Zen2 basieren und daher, abgesehen von der Anzahl der PCIe Lanes und der Speicherbandbreite nicht mit Zen3 Ryzen konkurrieren können.

Merkst du überhaupt die Mehrleistung ? Die Epyc Plattform an sich ist eher mit Hypervisorn und deren Besonderheiten (Durchreichen von Devices, SRIOV, etc) kompatibel als Ryzen. Zudem ist der RAM bei Epyc günstiger und du hast halt mal eben 128 PCIe Lanes, die alle direkt an der CPU hängen.

Es gibt sogar die Möglichkeit, sich ES Epycs zuzulegen und zu übertakten, SirDiablo hier aus dem Forum hat afaik aus dem 32 Kerner 3,8 GHz Allcore geholt. (Dann natürlich nicht mehr unter Einhaltung der TDP).

 

[Simsi1986]

@sch4kal
Berechtigter Einwand - vermutlich nicht, auch wenn wir hier tatsächlich von einem Hypervisor sprechen. Jedoch ohne besondere Extras für die Gast-VM - bloß CPU & RAM und Plattenkapazität in Form virtueller Disks bereitstellen (vom direkten Durchreichen halte ich an der Stelle nichts, sehe ich bloß sinnvoll u.a. für GPU oder FC-Controller zum Anbinden von Tabe-Libs und ggf. noch in ganz speziellen Konstellation für DB-Server).

RAM ist echt krass - gibt kaum UDIMM ECC aber massig RDIMM und LRDIMM ECC und dann wesentlich günstiger pro GB inkl. breiter Verfügbarkeit von Riegeln mit höherer Kapazität.

Ist dann am Ende ein ähnlicher Kuh-Handel wie Ryzen Pro vs. Ryzen (gegen oder für PCIe 4.0) bzw. Epyc vs Ryzen (gegen oder für Ryzen 3). Bei letzerer Entscheidung ist halt auch dieser Beigeschmack, dass der Preisunterscheid bei der CPU quasi null beträgt und ich fürs gleiche Geld die alte CPU-Generation erhaltet. Fairerweise dafür mehr Speicherdurchsatz und PCIe-Lanes (wobei letztere nur bedingt eine Rolle spielen).

OC wäre natürlich auch möglich, aber für mich kein Thema. 32 Epyc Kerne mit fast 4 GHz sind natürlich beeindruckend - wenn ich mir sowas in einem Azure-HCI Stack in der Firma vorstelle, wow!

 

[supernode]

Habe die Wunschliste bei Geizhals nochmal angepasst:
Heimserver Selfmade Ryzen SATA intern II für derzeit ca. 3350 EUR bestehend aus folgenden Komponenten

Darf ich fragen warum du gerade diese SSDs ausgesucht hast?

 

[Simsi1986]

@supernode
Ja, weil noch vorhanden. Schätze ich weiß worauf du hinaus willst - ja sind keine Enterprise-NVMe und ohne PLP. Soll durch entsprechende Anzahl ausgeglichen werden. Wie beschrieben ist der Einsatz als Cache für Storage Spaces beschränkt.

 

[supernode]

Ach die waen vorhanden dann ists klar.
Frag mich gerade was ich für welche aussuchen soll da ich ja quasi dasselbe Setup habe. CPU und Board liegen schon da und warten auf den Einbau...

 

[Simsi1986]

Die Frage ist, was du vorhast. Also auch welche Software zum Einsatz kommen soll etc.
Habe gerade mal die Suche bei Geizhals entsprechend gefiltert und die Crucial P5 ist tatsächlich mit fast die günstigste 2 TB TLC PCIe 3.0 NVMe mit min. 3000 MB/s Schreib/Leserate, min. 500k IOPS und min. 1.5 Mio. Std. MTTF.
Ab 1 TB mit gleichen Specs ist das Ergebnis noch besser, da ist sie tatsächlich die günstigste NVMe.

Würde ich also tatsächlich in der engeren Wahl lassen, Crucial ist die "Consumer"-Marke von Micron, d.h. eigene Speichermodule und -controller. Sehe ich in einer Liga mit Samsung, nur dass die Koreaner in der Leistungsklasse erstaunlicher Weise nicht vertreten sind. Sehe eigentlich nichts, was einen Aufpreis zu den anderen Consumer-NVMe rechtfertigt.

 

[besterino]

Achte darauf, dass das Mainboard 4/4/4/4 Bifurcation kann, ansonsten funktioniert das mit 4 SSDs in der Hyper-Karte nicht. Die limitiert auf den „kleinen“ Plattformen auch ggf. den Einbau von weiteren Steckkarten, die müssen dann im Zweifel in einen Chipsatz-Slot, zumindest wenn mehr als 2 SSDs in die Hyper sollen.

 

[supernode]

Hab auch das besagte Asrock Board sollte also gehen. Ich warte nur noch auf den Kühler dann kann ich die Kiste zusammenschrauben.

Die EVO Plus hat doch sehr ähnliche Werte wie die P5 bei nahezu gleichem Preis. Oder übersehe ich da einen wesentlichen Punkt?

Produktvergleich Samsung SSD 970 EVO Plus 2TB, Samsung SSD 980 PRO 2TB, M.2 2280 / M-Key / PCIe 4.0 x4 (MZ-V8P2T0BW /MZ-V8P2T0B), Crucial P5 SSD 2TB Geizhals Deutschland

Produktvergleich für Samsung SSD 970 EVO Plus 2TB, M.2 2280 / M-Key / PCIe 3.0 x4 (MZ-V7S2T0BW), Samsung SSD 980 PRO 2TB, M.2 2280 / M-Key / PCIe 4.0 x4 (MZ-V8P2T0BW /MZ-V8P2T0B), Crucial P5 SSD 2TB, M.2 2280 / M-Key / PCIe 3.0 x4 (CT2000P5SSD8)

geizhals.de

 

[Simsi1986]

@besterino Danke für den Hinweis, ist soweit kein Problem. Bifurcation wird unterstützt und die dadurch auf 1x PCIe 4.0 x8, 1x PCIe 4.0 x1 begrenzte Erweiterbarkeit beim aktuell sowieso nicht verfügbaren Board bereits berücksichtigt. Nach weiterer Recherche befürchte ich sowieso, dass Storage Spaces es nicht unterstützt, vier NVMe als Cache und 2 HDDs als Massenspeicher zu nutzen. Leider sind aber auch die Dokus für Stand-Alone Server mit Storage Spaces äußerst sperrlich, da i.d.R. eher Storage Spaces Direct zum Einsatz kommt. Also eine Hyber-V Fabric bestehend aus mehreren Servern.

@supernode
Stimmt, offensichtlich war mein Filter fehlerhaft wegen der Zuverlässigkeitsprognose. Liegt daran, dass ich nur auf MTTF und nicht MTBF gefiltert habe. Wird korrigiert.
Die 970 EVO Plus bietet tatsächlich nochmal höhere IOPS bei geringfügig niedrigerer Zuverlässigkeitsprognose. Würde ich dann tatsächlich der Crucial vorziehen.

 

[supernode]

Heute Abend konnte ich das Board in Betrieb nehmen.

System:
- AMD 5950X
- Noctua NH-D15
- ASRock Rack X570D4U-2L2T @ Bios Default Settings
- 32GB Kingston Server Premier ECC DDR4-3200 DIMM CL22 Single
- 750 Watt be quiet! Straight Power 11 Modular 80+ Platinum

Messwerte:
- Board mit IPMI, aktive Remote Sitzung, System AUS: 7 Watt
- IPMI, 2x RAM, System AN @ Ubuntu Live: 30 Watt
- IPMI, 4x RAM, System AN @ Ubuntu Live: 30,3 Watt

Messungen mit einem CPU Lüfter und einem 40mm Lüfter für den Chipsatz.
Es wurden keine Speicher (USB, SSD, HDDs...) angeschlossen und das Image über IPMI gebootet. Dauert zwar etwas aber funktioniert soweit einwandfrei.


Zusätzlich noch ein paar Worte zur Kühlung. Bei mir wandert das System in einen Tower (da vorhanden).
Der NH-D15 passt ohne Probleme auf das Board, allerdings ist der gegenüber meinen bisherigen Systemen um 90 Grad gedreht.
I.d.R. blasen die Lüfter ja zur Rückseite bzw. Richtung I/O Panel was hier eben nicht so ist. Beim Noctua den zweiten äußeren Lüfter vor dem Kühler nach oben blasen lassen geht nicht da es dann mit dem PCIe Slot kollidieren würde.
Sollte man diesen Kühler einsetzen kann man die zwei Lüfter nur nach unten blasen lassen was aber auch nicht schlecht ist da so die Spannungsregler mehr Luft abbekommen.

Wie oft beschrieben ist der X570 ja passiv gekühlt. Das sehe ich als problematisch an wenn man nur eine moderate Belüftung hat. Beim offenen Betrieb auf dem Schreibtisch war der Chipsatz ohne Lüftung sofort bei 99 Grad. Mit einem zusätzlichen 40mm Lüfter den ich provisorisch draufgelegt habe bleibt er aber im grünen Bereich. Ich werde mir das im eingebauten Zustand nochmal anschauen aber ich denke der zusätzliche Lüfter wird wohl bleiben müssen. Denke die Langlebigkeit des Boards wird dadurch deutlich profitieren.

Bei der Inbetriebnahme darauf achten dass man die richtigen RAM Slots - die blauen - verwendet, da ansonsten das Board nicht bootet.
Die Anzeige gibt dann 0xD0 = CPU ERROR aus was etwas irreführend ist. Da kann man schon mal einige Zeit suchen.

 

[Simsi1986]

Danke für deinen Erfahrungsbericht, jetzt wo du es sagst ist klar dass das Board für Top-Blow-Kühler vorgesehen ist. Hätte mir eigentlich schon früher auffallen müssen.
Heißt für mich dann wohl doch mal mit AiO zu beschäftigen, was an sich passt, da der Heimserver auch zum Experimentieren gedacht ist. Bei Top-Flow hätte ich bei Ryzen 7 oder 9 ein wenig Bammel, wobei die CPU beei mir vermutlich kaum unter Volllast laufen wird. 90 Grad Tower-Kühler ist für mich dann keine Option, weil Switch und Router auf dem Tower stehen.

Kühlung des Chipsatz werde ich im Hinterkopf behalten und RAM dank deinem Tipp dann gleich korrekt montieren können.

 

[supernode]

Noctua C14S sollte das doch kühlen können.
Gehäuselüfter wirst du sicher genug haben damit sich das im Gehäuse nicht staut.

Aktuell beschäftige ich mich mit der HBA Auswahl da das Sata controller durchreichen wohl nicht funktioniert (was man hier so liest). Will dann gleich einen 16i und da stellst sich die Frage 9400-16i (350 euro) vs 9500-16i (650 euro). Der Aufpreis von 300 euro ist schon hoch, dafür hätte man pcie gen 4 und mvme support. Schwere Entscheidung.
Bei 8 port würds nen gebrauchter 9300-8i (100 euro) werden aber da ist man gleich wieder am Limit.

was dem board nicht schaden würde wären noch ein paar mehr usb 2/3 ports. Intern gibt es nur einen usb3 und sonst gar nix. einfach noch ein paar usb2 zusätzlich und ein usb anschluss onboard und alles wäre top.

Ich bin bei dem Board ein wenig zwiegespalten da ja doch einige typische server funktionen nicht funktionieren zu scheinen wie eben alle sata ports durchreichen.
Mit nem i3 9100 und SM Board mit 10G NIC würde man wohl teils besser fahren mit geringerem Preis und Leistungsaufnahme. Klar kommt das dann nicht ganz an einen Zen3 hin aber das brauchts vielleicht auch nicht.

 

[Simsi1986]

Ja, der C14S würde es zur Not werden. Alternativ Dark Rock TF 2 - momentan habe ich auf BeQuiet AiO umgeschwenkt, deckt auch die Gehäusekühlung ohne mich preislich nach oben zu bewegen.

Wieso willst du SATA durchreichen?

USB ist bei Servern generell selten, Maus/Tastatur bzw. KVM und ggf. auch noch externe Datenträger.
In meiner Abteilung haben die wenigen physikalischen Server max. 4 USB Ports - 1 oder 2 an der Vorder- und 2 an der Rückseite.
i3 vs 5950X ist schon ein krasser Vergleich, aber wenn du mit dem Board nicht glücklich wirst bringt es nichts es zu behalten.

 

[supernode]

Verglichen mit den SM Boards ist die USB Ausstattung mMn sehr mager. Man hätte zumindest USB2 intern auf nem Header bereitstellen können. Die Chipsätze haben das ja sowieso integriert und der Stecker kostet ein paar Cent.
So kann man ohne USB Hub nicht mal Tastatur + Maus + USB Stick anstecken (ohne Front USB).

Den I3 müsste man natürlich mit einem 5600x oder 3600x vergleichen, dann wäre es kostenmäßig auch fairer. Alternativ auch ein kleiner Epyc 7232P mit passendem Board!
Da ich hier das typische ZFS Setup aufbauen möchte, brauche ich wohl noch einen extra HBA zum durchreichen. Von RDM wird ja überall abgeraten und mir fehlt leider die Zeit alles auszuprobieren. Bei nem C246 Chipsatz hätte es vllt. auch ohne HBA funktioniert. Daher meine Aussage im vorhergehenden Post.
Einen zusätzliche HBA könnte ich mir beim Epyc mit passendem Board ganz einfach sparen, weil dann teils schon ein LSI 3008 integriert ist. CPU + Board wären preislich dann sehr ähnlich zu dem Ryzen Setup und der RAM auch günstiger. Die CPU Performance kommt natürlich nicht an das jetzige Setup hin, was für mich eigentlich der ausschlaggebende Grund war das Teil zu kaufen..
Ich hab nicht gesagt dass ich mit dem Board total unglücklich bin, sehe aber mittlerweile auch andere Möglichkeiten. Wie immer geht es leider nicht ohne Kompromisse und kommt auf den Anwendungsfall an.


Mit meiner HBA Suche bin ich leider noch nicht wirklich weiter gekommen. Vielleicht hat ja hier noch einer einen entscheidenden Tipp.
Nachdem ja immer der LSI 9300 (und dessen Derivate) empfohlen wird habe ich da nach passenden Angeboten gesucht. Da mir die 8 Ports auf Sicht zu wenig werden wollte ich dann gleich auf den 16i gehen. Bei Ebay sind die dann bei rund 350 € (EU Angebote) so dass man auch direkt auf den 9400-16i gehen kann da preislich identisch und dafür neu.

Da wir bei dieser Plattform ja PCIe 4.0 haben, hatte ich auch den 9500-16i in Betracht gezogen. Der bietet dann PCIe 4.0 x8 und kann neben SATA/SAS auch NVMe 4.0 x4. Der Preis ist natürlich höher, wäre aber vielleicht im Hinblick auf eine langfristige Verwendung interessant.
Nun ist es bei der Karte selbst ja nicht getan da man ja noch die SFF Kabel braucht. Hierbei wird der (neue) SFF-8654 8i eingesetzt und dafür gibt es so gut wie keine Kabel um auf SATA zu kommen. Den SFF-8654 gibt es auch als 4i und dafür gibts SATA Verbinder, aber bei dem 8-fach habe ich nur einen Anbieter im Netz gefunden und das ist mir doch zu heikel. Schade dass man es hier schon wieder nicht schafft einen Stecker zu definieren der dann überall passt.
Anscheinend ist der 9500 ohne Backplane nicht zu verwenden weshalb er rausfällt.

Bleibt also der 9400-16i. Gibt es hier denn bessere Alternativen oder sollte ich sonst noch was beachten?

 

[v3nom]

HBA: https://www.serverschmiede.com/konf...ri-mode-controller-zfs-ceph-ms-storage-spaces

 

[Simsi1986]

Wieso Hersteller immer wieder bei den Schnittstellen sparen ist mir am Ende auch schleierhaft, offenbar aber im Serverbereich nicht ungewöhnlich.
Aber Hauptsache HDMI für die wenigen AM4 APUs die in den seltensten Fällen ihren Weg in einen Server finden.

Die Boards mit integriertem HBA haben aber am Ende weniger Schnittstellen als die von dir genannten, kann dir leider bzgl. HBA nicht wirklich weiterhelfen. Ich würde es mir überlegen, ob du die wenigen PCIe-Lanes dafür nutzen möchtest. Kannst doch mit virtuellen Festplatten arbeiten, dann umgehst du das Thema durchreichen.

Mein Server ist mittlerweile fertig, bzw. bis auf eine zusätzliche HDD-Halterung vollständig zusammengebaut.
New Homeserver 2021 Ryzen final bestehend aus folgenden Komponenten:
1x ASUS Hyper M.2 X16 Gen 4 Card (90MC08A0-M0EAY0)
4x Seagate Exos X - X18 18TB, 512e/4Kn, SATA 6Gb/s (ST18000NM000J)
2x Crucial P5 SSD 1TB, M.2 (CT1000P5SSD8)
4x Crucial P5 SSD 2TB, M.2 (CT2000P5SSD8)
1x AMD Ryzen 9 5900X, 12C/24T, 3.70-4.80GHz, boxed ohne Kühler (100-100000061WOF)
2x Micron DIMM 32GB, DDR4-3200, CL22-22-22, ECC (MTA18ASF4G72AZ-3G2B1)
1x ASRock Rack X570D4U-2L2T
2x be quiet! MC1 Pro, M.2 SSD-Kühler (BZ003)
1x be quiet! Silent Wings 3 PWM High-Speed, 140mm (BL071)
1x be quiet! Dark Rock TF 2 (BK031)
1x be quiet! Dark Base 700 schwarz, Glasfenster, schallgedämmt (BGW23)
1x be quiet! BGA05, Festplattenkäfig
1x Seasonic Prime Fanless PX-500 500W ATX (PRIME-Fanless-PX-500)

Wie ich im Nachhinein rausgefunden hatte, kann der NH-D15 von Haus aus um 90 Grad gewendet werden, da war aber schon alles bestellt. Vom Experiment AiO habe ich am Ende auf Grund der Wahl Platz für HDD oder Radiator Abstand genommen. Beim Gehäuse wurde es dann wider Erwarten doch was mit Fenster. Wollte eigentlich das Silen Base 802 - dann wären aber nur Pure Wings 2 Lüfter dabei und am Ende eine unpassende Lüftersteuerung. Mit dem Dark Base 700 bin ich am Ende zufrieden, da PWM Lüftersteuerung mit Mainboard-Verbindung die geringe Anzahl von drei Anschlüssen prima kompensiert. Ebenso kann das Mainboard auf die linke Seite versetzt werden, was am Einsatzort direkt an der Wand prima ermöglicht. Ist halt doch was ganz anderes geworden als ursprünglich vorgesehen (wenig Kompakt, dafür Multifunktional).

Leider habe ich jetzt das Problem, dass der Rechner nicht startet. Komme ins IPMI, aber sobald ich Einschalte geht der Rechner sofort wieder aus. Fehlercode 00 (welcher nicht im Handbuch gelistet ist.
Hab alle Verbindungen gecheckt und auch mal komplett ohne Festplatten gestartet - dennoch Fehlanzeige. BIOS und BMC sind laut Aufklebern auf dem neuesten Stand, kann also nicht an fehlender Kompatibilität liegen. Hätte ich doch das 700 Watt Netzteil nehmen sollen? Dagegen spricht, dass ein Booten selbst ohne HDDs nicht möglich ist.

EDIT: Server startet - nachdem ich bei Seasonic nochmal geschaut habe und im Handbuch steht, dass passive Netzteile mit dem offenen Teil nach oben verbaut werden sollen, habe ich das Netzteil gedreht und das Problem gelöst. Kann jetzt tatsächlich daran gelegen haben oder auch nur durch das erneute Stecken der PSU-Kabel das Problem verschwunden ist.

 

[supernode]

Wie ich im Nachhinein rausgefunden hatte, kann der NH-D15 von Haus aus um 90 Grad gewendet werden

wie würde das denn gehen? bei noctua auf der seite steht ja dass es nur gedreht geht? würde mich wirklich interessieren. Letztlich finde ich deine Wahl jetzt aber nicht schlecht da so die Spannungswandler mehr Luft abbekommen.

Das NT sollte doch leicht ausreichen: Basissystem rund 200 Watt, die exos beim anlaufen rund 140 und dazu noch 6 ssds mit pauschal mal 10 Watt.
Das wären dann rund 400 Watt mit gut Luft nach oben. Natürlich wirst den Wert nie sehen aber für die Auslegung wohl ok. Idle wirst bei gut 60 Watt sein. Hast du da schon Messungen gemacht?

Den HBA hab ich mittlerweile schon hier (9400-16i) und werde ich auch nutzen. Bei den integrierten HBA Boards bezog ich mich mehr auf die epyc boards. Da macht das „Fehlen“ eines pcie slots nicht so viel aus.
Ja die PCIe Lanes sind schon recht begrenzt. Vermutlich würde bei mir dann noch 2 nvmes in die slots einziehen aber da brauch ich jetzt erst mal ein bisschen Erfahrung bevor ich weiter einkaufe. BF ist ja auch diese Woche, vllt. ergibt sich ja was. Hab die samsung 980 pro im Blick.

Auch schau ich gerade nach nem Backup Server. Da wirds wohl ein i3 mit SM Board. Bin nur am überlegen ob 9100 oder 9350k (beides gebraucht). im idle sollte das ja ziemlich egal sein hinsichtlich Verbrauch. Da sind die Boards aber auch recht limitiert. Mit einer 10G NIC ist auch nur noch ein PCIe Slot frei…

 

[Simsi1986]

Es sind zwei verschiedene Halterungen dabei - kurze und lange. Damit lässt sich der Kühler variabel horizontal oder vertikal montieren, wird in der Anleitung ganz gut beschrieben: https://noctua.at/pub/media/blfa_files/manual/noctua_nh_d15_se_am4_manual_en.pdf

Server läuft mittlerweile zum Glück, hätte mich am Ende gewundert, wenn das Netzteil zu schwach wäre. Du beschreibst ja genau das, was mir auch verschiedene Rechner ausgeben, nämlich, dass selbst bei 500 Watt noch Reserven übrig sind. Ob es am erneuten Verbinden der Kabel lag oder das Netzteil tatsächlich erkennt, ob es richtig herum montiert ist bleibt am Ende ungewiss - mittlerweile ist alles ordentlich zusammengebaut und bin froh, dass alles funktioniert. Vielleicht mache ich später nochmal einen Test, wenn mich die Neugier nicht loslässt . Zum Verbrauch kann ich noch nichts sagen - Server ist noch nicht an der Smart-Steckdose angeschlossen. Sobald die VM vom alten Server übertragen ist, erfolgt der physikalische Umzug. Btw - habe erstmal den Eco-Mode aktiviert, d.h. 65 Watt TDP.

Nachdem der Umzug via SATA von den alten RAID1 Platten wider erwarten nicht geklappt hat, nutze ich eben LAN. Ist wohl auch kein Nachtteil, da die Quell-Platten wohl sowieso nicht mehr als 128 MB/s hergeben, Dank Hyper-V werden nun ca. 7 TB live migriert, d.h. die VM läuft weiter und Gbit LAN wird noch nicht mal voll ausgenutzt - im Schnitt 100 MB/s. Da bin ich froh, nicht noch temp. eine 8 TB Platte organisiert zu haben.

Bezog mich mit den Lanes auch auf die physikalischen Schnittstellen des AM4-Boards, immerhin können onboard 8 SATA Platten verbunden werden und PCIe Bandbreite lässt sich erst mit NVMe wirklich auskosten. Bei Epyc ist natürlich wegen der Lanes auch sinnvoller, alle PCIe Schnittstellen als x16 zu realisieren. Beim X570 wird der x16 auf x8 reduziert, sobald man den X8 Slot nutzt. Daher mein Einwand, ob der HBA wirklich sein muss. Immerhin können auf dem x16 gleich vier zusätzliche NVMe mit voller Bandbreite angebunden werden.

Bei den NVMe muss man übrigens beachten, dass bei paralleler Nutzung mit den Onboard Slots für RAID ggf. der Treiber für die zusätzlichen NVMe manuell auf den Standard (non-AMD RaidXpert) Treiber umgestellt werden müssen. Das war bei mir der Fall, bevor ich die vier NVMe auf dem x16 in Windows korrekt angezeigt wurden um am Ende im Storage Pool landen zu können. Leider lässt sich das im BIOS nicht explizit beschränken, so dass automatisch alle NVMe mit RaidXpert genutzt werden können.

Fürs Backup würde ich tatsächlich Board und Anschlussmöglichkeiten der CPU Vorrang geben. Eventuell auch ein NAS als iSCSI Ziel. Oder ein zweiter HBA für ein externes Gehäuse mit Backup-Platten.

 

[supernode]

ach wusste nicht dass da noch die längeren Bügel dabei sind. In der Anleitung hab ich das wohl überlesen.

Ein NAS möchte ich nicht mehr kaufen. Bei Anforderung ECC und überschaubaren Kosten kommt ja nur i3 9xxx und teils auch ryzen in Betracht. Mit IPMI gibts ja eigentlich nur das asrock board (450€) und cpus bist auch gleich bei 300€. Ein SM Board für 320 und CPU für rund 100 machen da dann schon einen Unterschied und verbrauchen wohl auch deutlich weniger. 10 Watt Unterschied im Idle sind auch schnell mal 30 Euro im Jahr.
Von den SM Boards liest man eigentlich nur gutes weswegen ich zu ersterem tendiere. Frage mich nur ob der 3950k nicht doch im idle mehr zieht. die 11% mehr in SC würde ich schon gerne mitnehmen.

Die Asus Hyper M.2 Karte ist rein passiv oder? sprich kein Controller und die 4x4 müssen via bifurcation angefahren werden? Von SM gibts das ja in 8x zum ähnlichen Preis.

 

[supernode]

Beim MH-D15 muss man wohl zwischen der normalen und der chroma.black Variante unterscheiden.
Bei letzterer sind die langen Montagebrücken nicht dabei. Siehe: https://noctua.at/pub/media/blfa_files/manual/noctua_nh_d15_chromax.black_manual_de_web.pdf
Somit bleibt nur die Montage wie ich es schon beschrieben habe.

Dennoch wird deine Wahl wohl besser sein da die restlichen Bauteile vom Board mehr Luft erhalten.
Wie war die Montage - da ließt man bei gh.at ja eher gemischte Meinungen. Geht sich das mit den RAMs aus? Der zweite, untere Lüfter macht das sicher sehr eng?

 

[Simsi1986]

Weiß nicht, was ich da von Noctua halten soll, dass die zusätzlichen Montagebrücken einfach weggelassen werden. Immerhin kostet der chromax.black etwas mehr und ich würde erstmal davon ausgehen, dass man ggü. dem ursprünglichen Modell keinen abgespeckten Lieferumfang hat. Aber ja, mit Top-Flow ist die Kühlung der umliegenden Komponenten nochmal besser. Bin mit der Kühlleistung soweit zufrieden - Lautstärke mit PWM Auto passt auch. Man hört bloß den Lüfter der M.2 Karte und natürlich die Festplatten. Mit ausgeschaltetem M.2 Lüfter hört man nur ein leichtes Brummen der HDDs, die derzeit nebenstehende Xbox Series X ist im Standby hörbarer als die sechs be quiet! Lüfter zusammen.

Die Migration der VM ist leider noch immer am Laufen, d.h. der neu Server empfängt bloß Daten und schreibt sie auf das virtuelle Volume des Storage Pools. Dabei schwankt die CPU-Last bei 1-2% mit rund 3,6 GHz und es werden dabei nur zwei Kerne wirklich genutzt, der Rest ist geparkt. Ram bei ca. 5 GB und Konstant ca. 800 Mbit/s Empfang mit entsprechender Schreibrate. Dabei liegen die Temperaturen laut IPMI für MB, Card Side, CPU, LAN, X570, DDR4 A1/B1 bei 44, 42, 37, 57, 62, 36 und 37 Grad Celsius. CPU-Lüfter 400 RPM und die Gehäuselüfter bei 600 RPM. Bin jetzt auf die Werte nach der Migration der VM gespannt, genauso wie auf die Verbrauchswerte via Fritz! DECT.

Montage war soweit ok, CPU-Kühler kann nur in eine Richtung vernünftig verbau werden, da sonst der x16 PCIe Slot verdeckt wird. Macht aber nichts, RAM ist nicht zu hoch und die Lüfter sind nicht größer als der Kühler selbst. Das einzig nervige ist das Montieren der Lüfter. Im Nachhinein hätte ich es mir leichter machen können in dem ich den unteren Lüfter vor der Montage des Kühlers auf dem Board montiert hätte, da man mit dem Schraubenzieher trotzdem an den Lüfterlamellen vorbei kommt. Scheint bei be quiet! Programm zu sein - erinnere mich noch an die Montage des Dark Rock Advanced C1 auf einem i7 vor fast 10 Jahren und da war die Drahtmontage noch schlimmer. Wenn man einmal den Dreh raus hat ist der zweite Lüfter dann auch schnell montiert. Insgesamt war die Montage der drei Frontlüfter aber "dramatischer". Schließlich geht man davon aus, dass jeweils vier Schrauben genutzt werden sollen, was aber bei 3x140mm nicht geht. Die sind press aneinander. Insgesamt kann ich aber nicht klagen, ist am Ende mehr Fleiß als wirklich komplizierte Arbeit gewesen und kann das Gehäuse auf jeden Fall empfehlen. Ist in meinen Augen ziemlich durchdacht und sehr gut verarbeitet.

Zu deinem Backup-Server verstehe ich, dass NAS wg. der Kosten ausfällt. Bezog mich hier aber auf reine Storage NAS mit einfacher CPU. Zur reinen Datensicherung wäre aber wie beschrieben ein externes Gehäuse mit SAS-Anbindung in Sachen Verbrauch nochmal besser als ein separater Rechner. In der Kombi wäre dann aber Epyc die bessere Wahl gewesen, da mehr Slots frei.

Die M.2 Karte ist (abgesehen vom abschaltbaren Kühler) passiv, ja. Damit sie auf dem Mainboard funktioniert hat, musste ich von Auto auf 4x4x4x4 bifurcation umstellen. Ist quasi wie direkt verbunden, daher habe ich dann am Ende zum günstigsten verfügbaren Modell gegriffen. Einzige Anforderung war bei mir: 4xM.2 PCIe 4.0 (wg. möglicher künftiger Upgrades) und Kühlung. Im Nachhinein würde ich letzteres zur Not mit einer Nachrüstung kompensieren, die einfachen MC1 von be quiet! ohne Heatpipe kosten derzeit im Mindstar 8 EUR. Wenn zwei M.2 Slots reichen ist das Teil von Supermicro derzeit die günstigste Adapterkarte

 

[supernode]

CPU-Kühler kann nur in eine Richtung vernünftig verbau werden, da sonst der x16 PCIe Slot verdeckt wird.

wie ist das zu verstehen?

 

[supernode]

@Simsi1986 : Läuft nun alles? Bräuchte noch die Infos zu dem Kühler aus meinem letzten Post.
Ich überlege den Kühler noch zu tauschen bevor ich ihn produktiv laufen lasse.