EPYC Server abgeraucht - Ersatz benötigt

[Shihatsu]

----- Vorwort ----
Moin,

mein EPYC Server mag nicht mehr. Darauf läuft mein Proxmox, auf diesem widerum mein TrueNAS. Backups und co sind eher weniger das Problem, sondern Ersatz. Die unbedingt notwendigen Services (Homeautomation, Firewall/Routing) sind redundant aufgebaut. Allerdings muss Ersatz her.
Um was handelt es sich? EPYC 32 Core erste Generation auf einem Supermicro Board mit 128GB Ram. Quadro620p für Jellyfin. Asus Hyper X16 mit 4 NVMes als VM-Speicher. Intel SSD als Bootmedium. x520 fürs Netz, Mellanox 40g Karte zusätzlich. Dazu einen USB-Karte zum weiterreichen
Darauf liefen neben TrueNAS und allerlei Homeautomation-Gedöns auch mehrere Linux- Mirror (Debian, Arch), Jellyfin, Debian-Mirror, Arch-Mirror, nen Buildserver, 2, 3 Windows-VMs, Printserver, Uptime-Kuma, und und und. - ich hab auf das Ding draufgeworfen was ich wollte und er hats geschluckt, das fand ich gut. RAM dürfte bisserl mehr gewesen sein, aber mei.

Ich bin noch am Anfang der Analyse was falsch läuft, aber er hat neu gebootet, und dann kein ZFS-Pool mehr erkannt. Dann hab ich die NVMe-m.2-Sticks in der X16 überprüft, die sind sauber. Wieder eingebaut, bootet nicht mehr. IPMI kommt normal hoch, aber wenn ich booten will kommt nur "Startup failed, please check". Ich spiel damit mal weiter rum. Aber es muss Ersatz her, das gute Gerät ist älter als 5 Jahre.

---- Ersatzplanung aka Hauptteil ----
Ich hab mit dem Gedanken gespielt TrueNAS Baremetall zu machen in Zukunft, aber ich werd das denke ich verschieben, da ich ja trotzdem etwas mit viel PCIe Slots brauche, was mich dann wieder zu EPYC bringt - ich dachte dann an ein Set von Ebay, zum Beispiel dieses hier:

Supermicro H12SSL-i Motherboard With AMD EPYC 7282 CPU, 16GB-512GB 2133P RAM | eBay

1x AMD EPYC 7282 16 Core 32 Threads CPU. AMD EPYC™ 7002 Series. Gigabyte MZ71-CE1 (rev. 3. x) With 2x AMD EPYC 7532 CPU 512GB(8 64) DDR4 RAM. Supermicro H11DSi Motherboard + 2x AMD EPYC 7642 48 Core CPU 2.3GHz Up to 3.3GHz.

www.ebay.com

Aber leider gibts da ja das hier:

Supermicro H12 Serie - Finger weg!

Hallo zusammen, Ich möchte hier eine kurze Warnung bzgl. der Supermicro H12 Serie (Spezifisch: H12SSL-i / H12SSL-NT und H12DSi-N6 und H12DSi-NT6) aussprechen. Ich würde diese Boards NICHT empfehlen. Grund Nr. 1: Boards der Revisionen Rev 1.0, Rev 1.01 und Rev 1.02 nutzen sogenannte "Bare-Die"...

www.hardwareluxx.de

Und nu hab ich wenig Ideen wie weiter vorgehen. H13 Serie dürfte noch zu teuer sein - ich würd gern mit Board, RAM und CPU unter 1200 bleiben...

---- TLDR ----
Neuer Server gebraucht, mindestens 32 Kerne, gerne mehr als 128GB RAM, viel PCIe benötigt, ~1200€ - was kaufen?

 

[danielmayer]

Naja, bei dem Geld lohnt sich schon die FehleranalYse, zumal mein ehemaliger 7551p noch hervorragend in einer intensiv genutzten Workstation werkelt.
Live-System booten. Wenn das läuft, liegt's nicht an Mainboard/CPU/RAM ...

 

[Shihatsu]

Und wie soll ich das Livesystem booten wenn der ganze Server nicht bootet? Weder ATX-Switch noch IPMI-boot starten die Mühle. Und natürlich mach ich auch weiter Fehleranalyse, aber da ich nicht weiß wie lange die gegebenenfalls dauert muss ich halt auch an ERsatz denken. Und das ist primär im Fokus gerade.

 

[danielmayer]

Alle Erweiterungskarten rausnehmen. CMOS-Reset über die Hauptplatine. Letzteres vielleicht zuerst ausprobieren, mir löst das immer wieder unerklärliche Probleme seit vielen Jahren.
Ich hatte auch mehrfach Erweiterungskarten, die das BIOS gestört hatten. Wenn eine davon doch defekt ist, z.B. die X16...

 

[Shihatsu]

Joa, gerade das mit dem BIOS kenne ich und steht als nächstes auf dem Plan - nichts desto trotz trau ich der Mühle nicht mehr und brauche Ersatz...

 

[sch4kal]

Wenn du keine Lust aus Supermicro Boards hast: https://www.hardwareluxx.de/community/threads/gigabyte-mz32-ar0-rev-1-0-auf-3-0-flashen.1327949/

Board und Zen2 Epycs dürfte es mittlerweile günstig geben.

Zur Fehleranalyse: evtl hat das Mainboard irgendwo Kontakt mit dem Gehäuse ?

 

[Frecyboy]

Board und Zen2 Epycs dürfte es mittlerweile günstig geben.

Schön wärs. Halte schon länger nach einem MZ32-AR0 ausschau, auch dank deinem Thread.
Von den ehemals unter 300€ ist derzeit wenig zu sehen. Wenn, dann geht es mal knapp unter 400€, siehe der vergangenen ebay Angebote.

 

[pwnbert]

Ich hab mit dem Gedanken gespielt TrueNAS Baremetall zu machen in Zukunft, aber ich werd das denke ich verschieben, da ich ja trotzdem etwas mit viel PCIe Slots brauche, was mich dann wieder zu EPYC bringt - ich dachte dann an ein Set von Ebay, zum Beispiel dieses hier:

So nebenbei aus meiner TrueNAS-Proxmox Spielerei...
Ich wurde ja schräg beäugt, weil ich unter Proxmox nen HBA durchgereicht hab, und mein TrueNAS Bootdrive (sowie alle anderen Drives dafür) auf diesem HBA hängen habe, also in der VM vom HBA gebootet.
Das "lustige" an der Sache, TrueNAS ist beim booten mit den Treibern so unkompliziert, dass mir das Ding baremetal wie auch in der VM bootet.
Ist vielleicht ein interessanter aufbau, theoretisch sollte man den ganzen HBA samt Kabelbaum und daraufhängenden Drives in irgend einen anderen Rechner stecken können und dort booten, müsste TrueNAS eigentlich so schaffen.
Ich überleg mir ernsthaft, das so aufzubauen, in so einem Fall könnte ich dann zumindest das NAS recht bequem wieder relativ flott hochbekommen. Son 9400-16i bietet ja ein paar Anschlüsse.


Zum Rest kann ich nix sagen.

 

[java4ever]

MZ31-AR0: 350€ + Steuer, https://www.ebay.de/itm/176584319309
MZ32-AR0: 332€ + Steuer, https://www.ebay.de/itm/176561926715

Der Verkäufer, tugm4470, gehört zu den zuverlässigeren China Verkäufern.

Neuer Server gebraucht, mindestens 32 Kerne, gerne mehr als 128GB RAM, viel PCIe benötigt, ~1200€ - was kaufen?

H12SSL kann man kaufen, wenn man auf Rev 1.10 achtet (und keine GPU in Verbindung mit viel NVMe oder Mellanox ConnectX-6 nutzen will... Oder dann halt ein altes BIOS nutzt )
Rev 1.10 kriegen gibts 2 Möglichkeiten:
a) Bestellen, anschauen, falls nicht Rev 1.10 -> Zurückschicken, neu bestellen. Ein Freund hat demletzt bei Mindfactory Rev 1.10 H12SSL-i bekommen
b) Ich kann auch über B2B Kanäle H12SSL-i mit garantierter Rev 1.10 besorgen, dann halt keine Rückgabe, nur 1 Jahr Gewährleistung, usw...

Bin kein Fan vom 7282 - Das Ding hat nur 2 Core Chiplets und ist deswegen bspw. in Speicherbandbreite (und Cache) limitiert. Hier würde ich eher zum 7302 greifen (ca. 200€)

RAM 4x32GB 3200 sollte bei ca 200€ liegen... Nimm doch direkt 8x32, dann sind wenigstens alle Channel gefüllt. Oder 8x16... Ich hab auch selbst noch bisschen was an RAM rumliegen.

Falls du eine EPYC CPU zum Testen willst, sag Bescheid. Ich glaube ich hab noch nagelneue 7252 rumliegen, die ich zum Zwecke der Fehlersuche (Board oder CPU hin?) ausleihen könnte.

 

[Shihatsu]

Die Fehlersuche gestaltet sich bisher als unfruchtbar. Folgendes habe ich durch:

• BIOS reset mittels CMOS clear
• Batterie 6h raus ebenfalls versucht
• Selbiges komplett ohne Erweiterungskarten

Am WE folgen nun:

• Ausbau aus dem Case, Test in nackich
• Dito, mit einem RAM Riegel, das ganze bis zu 8 mal
• Dito, anderes Netzteil

Danach kann ich sicher sein das es entweder CPU oder MB sind. Dann komme ich gegebenenfalls auf dein super nettes Angebot zurück @java4ever - das du n geiler Typ bist sagte ich ja bereits in der Vergangenheit...


Zum Ersatz schwanke ich immer noch zwischen TrueNAS Baremetal oder nicht. Im Moment schaue ich mir Mini-ITX-Boards mit ECC an und stolpere über diese beiden Varianten:

ASRock Rack > X570D4I-2T

www.asrockrack.com

oder die chinesische Variante:

https://www.amazon.com/CWWK-NAS-Display-Network-Motherboard/dp/B0D5M2M3Y5

Aber ich sags ganz ehrlich: so richtig trau ich dem chinakram nicht - nicht nur aus OpSec Sicht, sondern auch wegen Updates, Verfügbarkeit bei Defekt, etc pp

Was den neuen Server angeht bin ich noch nicht wirklich weit gekommen. Auf den 7302 setzen würde mir wie ein Downgrade vorkommen. Allerdings, das muss ich mir gegenüber mal ehrlich zugestehen, brauche ich die CPU Power nicht, da seltenst mehrere Dinge parallel laufen - das höchste der Gefühle sind 2 Videostreams der Kids während ein Build läuft (der Buildserver nimmt sich von meinen derzeitigen 32 Kernen 16 und lastet die dann voll aus) und da geht dann immer noch alles, weil Jellyfin halt sogut wie keine CPU-Last erzeugt. Huom. Trotzdem "Downsizing" - ob das mein "Ego" mitmacht...

Ihr seht, ich bin noch nicht wirklich weit. Was ich weiß ist das mich meine Raspi-Armada jetzt schon annervt und ich die Redundanz der Services sehr bald anders erreichen will. Dafür gibts nen Backup-PVE, vermutlich auf Basis eines Thinkcentres 920. Da 2 SSD rin, bisserl Ram und ich kann schonmal wieder besser schlafen was den WAF angeht. Und erkaufe mir Zeit. Hiach was nen Käse das allet.

 

[Supaman]

Vermutlich nicht das was Du suchst, aber robust & preiswert:

Ich habe hier noch ein Supermicro x10dri-LN4+ mit 2x CPU Xeon E5-2640 v3 und 128GB ECC Ram zu verkaufen. Eine NIC x540 T2 (2x 10GBe RJ-45) wäre auch noch da.

 

[Shihatsu]

Danke für das Angebot, wenn mir gar nichts einfällt komm ich vielleicht darauf zurück!

 

[besterino]

Ich hätte noch nen Supermicro mit nem 7282, das sich seit meinem Umstieg auf nen 5950X für den Mainserver eigentlich nur noch langweilt...Genaues Board weiss ich gerade nicht.

EDIT: Board ist ein H12SSL-C

 

[Shihatsu]

Das wäre ja der besprochene Rückschritt, allerdings ja - wie bei j4e - aus sehr zuverlässiger Quelle. Auch hier gilt: Ich komme vermutlich früher oder später auf das Angebot zurück.

 

[java4ever]

Auf den 7302 setzen würde mir wie ein Downgrade vorkommen.

Ohhh sorry, hatte das mit den 32C im Ursprungspost überlesen und bin von 16C ausgegangen, weil du einen Link zu den 7282 Bundle gepostet hast.

Für dich möglicherweise interessante CPUs:

EPYC 7532, 32C @ 220€ + Steuer https://www.ebay.de/itm/175223272799

EPYC 7542, 32C @ 360€ + Steuer https://www.ebay.de/itm/175260163670

EPYC 7K62, 48C (ja, achtundvierzig) @ 280€ + Steuer https://www.ebay.de/itm/175284585189

bzgl. Fehlersuche: Kannst auch gerne das Board mitsamt CPU zu mir schicken, falls ich noch mal ein Auge draufwerfen soll.

 

[Shihatsu]

Jungs ihr seid schon ziemlich die geilsten hier - einfach "irgendwem" solch Angebote machen ist starkartig gut!

 

[Fusseltuch]

Ich hätte noch ein Tyan S8030 mit 7F52, falls interessant. Da es aktuell eh nur "rumliegt", könnte ich mich davon bei Bedarf trennen.

 

[Shihatsu]

Ich hätte noch ein Tyan S8030 mit 7F52, falls interessant. Da es aktuell eh nur "rumliegt", könnte ich mich davon bei Bedarf trennen.

Auch hier danke für das Angebot, ich melde mich.

Derweil keimt etwas Hoffnung:

Ich hab einfach alles wieder zusammengebaut, um es einfacher transportieren zu können - wir erinnern uns: Als nächstes stand komplett Ausbau aus dem Gehäuse an. Und aus Naivität dachte ich "probier doch mal" - wtf? Ich werde berichten...

 

[besterino]

Eine meiner Kisten macht auch komische Sachen, wenn sie nicht richtig (ganz) im Regal liegt. Das bisschen Verwindung reicht schon, dass das Ding nicht bootet.

 

[Supaman]

Wenn der BMC lebt, hat man doch Möglichkeiten da rein zu schauen, entweder übers GUi oder über die IPMI Tools.

 

[Shihatsu]

Joa, ich komme auf den BMC wieder druff, aber über den obigen Bildschirm gehts beim Bootvorgang nicht hinaus.
Troubleshooting Dump ist komplett leer...

 

[danielmayer]

Haste mal die X16 rausgenommen? Bzw. Alle PCIe-Karten?

 

[Shihatsu]

Ja, siehe #10. Ebenfalls komplett RAM bis auf einen raus, nix bootete. Also alles wieder rin und einfach nochmal getestet, mit dem jetzigen Ergebnis.
Ich bin mitlerweile soweit das ich wohl erst mal das TrueNAS auslagern werde - gibts irgendeine Alternative zum ASRock Rack X570D4I-2T wenn man mini-ITX gehen will?
Die Idee ist erstmal: Mini-itx board mit 10g, ECC, jonsbo n3, ordentlich RAM und dann wenigstens das NAS wieder oben haben - spricht da was gegen ausser der unverschämte Preis des Boards?
Ich brauch halt was das meine beiden Arrays (2+6 Platten) + bootmedium frisst.

 

[sch4kal]

MJ11, sonst wüsste ich nix in Gut&Günstig als miniITX.

 

[MrWahoo]

AM5D4ID-2T/BCM wenn es AM5 sein soll, preislich wohl auch neu identisch zum X570

 

[besterino]

Echt mITX? Wenn's nur was für den Übergang sein soll, würd ich da echt eher das MC12 nehmen, billige NIC rein und ansonsten Optionen ohne Ende. Kann man sogar als Basis für einen (kleineren) Mainserver nehmen...

 

[sch4kal]

Echt mITX? Wenn's nur was für den Übergang sein soll, würd ich da echt eher das MC12 nehmen, billige NIC rein und ansonsten Optionen ohne Ende. Kann man sogar als Basis für einen (kleineren) Mainserver nehmen...

Für den Übergang könnte er aber für ein MJ11 seinen bisherigen RDIMM vom Epyc weiterverwenden und müsste sich nicht, verhältnismäßig teuren DDR4 UDIMM ECC (oder noch teureren DDR5 UDIMM ECC) kaufen.

 

[besterino]

Ok, das wäre für die größeren Epyc ein Punkt, aber das AM5D4ID kann auch nur non-Reg UDIMM.

 

[Shihatsu]

MJ11, sonst wüsste ich nix in Gut&Günstig als miniITX.

Huch. Das Ding kannte ich ja noch gar nicht. Genügend Leistung falls doch mal nen Jail her soll, klein, nen Slot für nen Bootdrive + 8SATA am Start, dazu ne Mellanox 3 und ich sollte glücklich sein. Ordentlich Ram kann ich später immer noch besorgen, denn das fährt ja "meinen" RAM

AM5D4ID-2T/BCM wenn es AM5 sein soll, preislich wohl auch neu identisch zum X570

Nee, da kommen dann noch Rampreise dazu, und die sind bei DDR5 noch unangenehm bei ECC

Echt mITX? Wenn's nur was für den Übergang sein soll, würd ich da echt eher das MC12 nehmen, billige NIC rein und ansonsten Optionen ohne Ende. Kann man sogar als Basis für einen (kleineren) Mainserver nehmen...

Ja, echt mITX - soll wenig physischen Platz verbrauchen, da es vermutlich mittelfristig mein Synology als Backup-NAS ersetzen soll.

Für den Übergang könnte er aber für ein MJ11 seinen bisherigen RDIMM vom Epyc weiterverwenden und müsste sich nicht, verhältnismäßig teuren DDR4 UDIMM ECC (oder noch teureren DDR5 UDIMM ECC) kaufen.

Dieses war mein Gedanke.

Ich stell mal was zusammen...

Beitrag automatisch zusammengeführt: 26.10.2024

Also, Zusammenstellung stellt sich als schwieirig heraus, ich brauche ja MB, Netzteil, Case und Power Supply. Ram nehm ich aus dem Server der nicht mehr mag, 10G liegt hier noch diverses rum, fehlt noch das Bootdevice und ich bin glücklich. Also grundsätzlich erst einmal das hier:

Gigabyte MJ11-EC1 EPYC 3151 Server Mainboard +ATX Adapter

Gigabyte MJ11-EC1 Mini-ITX Server Mainboard + ATX Adapter refurbished kaufen, AMD EPYC 3151 SoC 4C 8T 2,7 - 2,9 GHz, gebraucht

www.ram-koenig.de

https://www.caseking.de/jonsbo-n3-nas-case-black/GEJB-143.html?%20Modding%3EComputer%20Geh%C3%A4use%3EMini%20Geh%C3%A4use%3EMini-ITX%20Geh%C3%A4use=

Aber, o weh - gutes SFX Netzteil mit ~300-400w? Scheints nicht zu geben? Same bei m.2 2280 mit PLP und cache gibts nur von "Billiganbietern"? Wasn da los? Anforderungen zu Schmetterlingshaft?

 

[pwnbert]

Aber, o weg - gutes SFX Netzteil mit ~300-400w? Scheints nicht zu geben?

BeQuiet? Das TFX, welches ich hab, ist super. Die Lüfter der Dark 13 sind wohl schlecht, aber sonst kann ich nix meckern über diverse BQ der letzten Jahre. Gibt aber auch genug andere brauchbare Hersteller...

Hier zum Thema ITX NAS:

[Kaufberatung] - Gehäuse für kleinen Fileserver – Empfehlungen/Erfahrungen?

Brauch einen neuen Backup-Server. Anforderungen frisst µATX-Board 2+ 3.5" HDD 2+ 2.5" HDD "hot-swap" (s. unten!) möglichst klein. Am besten so klein, dass es in ein BILLY-Regal geht. möglichst leise. Also vielleicht zumindest irgendeine Dämpfung für die Platten und kein wackeliges 0,5-mm-Blech...

www.hardwareluxx.de