[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[Weltherrscher]

Gerade nachgelesen, scheint beim X11DPU im BIOS konfigurierbar zu sein, entweder MM (Memory-Mode) oder AD (AppDirect Mode).
Die 2,5" PCIe-Adapter und der CH341 liegen aktuell vor der Haustür, morgen Nacht komme ich wieder heim...
*fingerkribbel*

 

[Steggi]

An sich ne nette Technik zu einem aktuell verhältnissmäßig günstigem Preis im Vergleich zu DRAM. Wird nur leider nicht von jeder 3647er Plattform unterstützt. Mein R440 hat zum Beispiel Pech gehabt 🙁

Und weil Bilderthread und so...

 

[pwnbert]

Zum Glück kann ich die Kapazität der SSDs nicht lesen, sonst werd ich vllt. noch neidisch.

 

[killer196]

Zum Glück kann ich die Kapazität der SSDs nicht lesen, sonst werd ich vllt. noch neidisch.

steht 960gb drauf ^^

 

[pwnbert]

Mh, ziehen wsl. zu viel Watt schon im Idle. Muss mir ja einreden, dass ich sowas nicht brauch.
Ne, hab eh ganz gut SSDs eingekauft seinerzeit, mit dem Wissen von Heute hätte ich aber besser gekauft.

 

[Steggi]

steht 960gb drauf ^^

Korrekt. Die Nytros sind 960GB und die Microns 1.92TB. Letztere sind aber inzwischen schon wieder wo anders im Einsatz, da diese ausschließlich 5V benötigen und nicht zusätzlich auch noch 12V.

Mh, ziehen wsl. zu viel Watt schon im Idle. Muss mir ja einreden, dass ich sowas nicht brauch.

Weniger als man glaubt. Im absoluten Idle sinds ca. 75W.


Es geht nicht unbedingt ums brauchen. Wir sind ja hier im Luxx. Aber es ist schon nice to have, wenn du ne Spielwiese hast, die du je nach Bedarf via iSCSI mit ESXi oder Hyper-V + ZFS on Windows booten kannst.
Proxmox wollte ich mir eigentlich auch noch einrichten, bin ich aber bisher nicht zu gekommen und das BIOS unterstützt eh nur zwei iSCSI Profile.

 

[AliManali]

Schau bei den Microns nochmal. Bin bei meinen drei auch nicht sicher, ob die von dem Bug betroffen sind. Sollte man zumindest im Hinterkopf behalten:

Micron SSDs Problem bei >65535 Stunden Laufzeit

https://www.reddit.com/r/DataHoarder/comments/1sly734/warning_micron_5200_fails_after_65535_hours/ uff das wäre übel. Hat jemand von euch aus der Reihe 5100/5200/5300 Platten mit dieser Laufzeit? Ich hab nur ne 5100 Pro aber noch knapp drunter:

www.hardwareluxx.de

 

[Steggi]

Sowas liebe ich ja. Danke für den Hinweis.

Das hier sind zwar 5300 Pro, alle auf der D3MU001 Firmware, aber da stellt sich natürlich die Frage, ob die auch betroffen sind, auch wenn die grade mal 2 Jahre auf dem Buckel haben.
Hab zudem auch noch ein paar kleinere HP gebrandete 5300 Max mit HPG1 Firmware und eine einzelne 5210 ION mit D2MU805. Die zweite hat sich ja schon nach nem Jahr mit Sektorfehlern verabschiedet und der Händler meinte dann ersthaft, dass er mir anstelle einer Garantieabwicklung oder eines Austausches nur der Kaufpreis erstatten könne, damit ich mir die gleiche SSD anschließend nochmal zum anderthalbfachen Preis bei ihm kaufe 😠

 

[AliManali]

Ja, habe auch mehrfach den Support angeschrieben, ob die 5300 Pro auch betroffen sei. Die finden es nicht nötig, da mal zu antworten. Saftladen.

 

[Weltherrscher]

Alter Verwalter.
Bei so nem Flash geht einem echt die Düse, wenn flashrom unter Linux gleich beim flashen schon meint: verify failed.
Merke:
- CH341 ist parallel, die ch340ser.zip geht da NICHT als Treiber! -> ch341par.zip!
- NeoProgrammer it is!
- erase - write - verify!
- Diese blöden Klammern sitzen oder sitzen nicht, je nachdem wie man wackelt.
- Keine Ahnung, ob die Revision des Chips (MX25L256E oder ...G) wichtig war.
- Alles ausbauen, was Last auf dem SPI verursachen könnte.
- Batterie raus.
- TPM raus.
- Zum Mainboard-Gott BETEN, BETEN, BETEN.

Aber, hat sich gelohnt. =)
Habe jetzt ein OEM-freies X11DPU mit BIOS 4.7.

Alibi-Pics:

 

[Weltherrscher]

So weit, so schlecht, sobald die M60 steckt, fährt das System nicht mehr an. *meh*
Nachher mal ausprobieren, ob ich sie geschrottet habe...
Erstmal den PX1 wiederherstellen.

/Edith:
VMs laufen bis auf die KI.
IPMI fliegt sofort beim Anmelden mit Session Timeout raus, wenn ich mich über URL anmelde, per IP gehts... -.-

/Edith2:
UUUND jetzt habe ich auch heraus gefunden, wieso die M60 im X11 nicht tut:
Das X10DRi hat stinknormale Consumer-GPU-Anschlüsse (6x 12 V / Masse und 2x Sense (Masse)).
Das X11DPU hingegen hat diese Server-GPU-Stecker mit 8x 12 V / Masse und jetzt kommts: die sind seitenverkehrt!
Gerade mit dem Multi nachgemessen, jedes Mal, wenn ich die Stromkabel gesteckt hab, hab ich nen kurzen gebaut, weil verkehrt herum angeschlossen!
*AAAAAARGH*

Die gute Nachricht ist: es läuft noch alles. *puuh*

 

[Badrig]

Morgen baue ich meinen neuen Server zusammen, der den Proxmox-Cluster und den Spiele/KI-Server ablösen soll:

• Core Ultra 250K Plus (vermutlich mit Begrenzung auf 65 oder 80 Watt)
• Crucial Pro 96GB DDR5-5600 (2x48GB Kit)
• Asrock Z890 Pro-A
• 2x Exceria Plus G3 1TB @ZFS Mirror + PM9B1 1TB für die Spiele-VM
• 2x Arc B580 12GB (hoffe das klappt mit dem Layer Splitting in llama.cpp)
• Generische RTL8127 SFP+ Netzwerkkarte
• Silverstone RM31-MINI
• Sharkoon Rebel P20 SFX 850W (vermutlich noch Tausch gegen Corsair SF750 wegen besserer Idle-Effizienz)

Ziel ist bessere Effizienz und weniger Platzverbrauch. Die RX9070XT soll dann in den HTPC wandern, nachdem wohl mittlerweile endlich der HDMI-Sound funktioniert.
Außerdem bekomme ich jetzt für die insgesamt 224GB DDR4 wohl ganz gut Geld. Das Potential des Clusters (HA und co) nutze ich ohnehin nicht aus und habe unwirtschaftlich viel Leerlauf. (Schaut gern in meinen Marktplatz-Thread)

Das ist nun das gute Stück, aber jetzt doch mit einer Arc Pro B60 statt der zwei B580. Kühler und Grafikkarte sind eine Punktlandung für 3HE.

 

[Weltherrscher]

Alter Vewrwalter, was ein WE...
Habe versucht, die X710er auf der Riser-Karte vom X11 auf ne aktuelle Firmware zu flashen...
1. Versuch:
no devices found (ETrackID nicht in der cfg drin), alle Versionen von 26.0 bis 31.1 durch probiert.
2. Versuch:
ETrackID in cfg eingetragen, glücklicherweise bei der richtigen Device-ID.
Flash erfolgreich, reboot.
Erster Port EFI driver unhealthy -> kein connect mehr, nvmupdate zeigt aber alles i.O. an.
Alles mögliche versucht, SFPs am Switch getauscht, Einstellungen rum gefuhrwerkt, rollback gemacht, neu geflasht, irgendwann ging er dann magischerweise wieder.

Allerdings habe ich jetzt komischerweise ne andere ETrackID...
Egal, Ports fluppen und im FW-Image steht auch noch die Bezeichnung "Supermicro AOC-blabla" drin.


Dann GPU-Kabel...
Eins aus der Bucht bestellt, fürn Dell (sah auf Bildern passend aus).
Pustekuchen, im Endeffekt nur nen Consumer-GPU-Kabel mit den beiden Sense-Massen...
Aus Frust mal gegooglet und in der Bucht dann die originalen von Supermicro bestellt.
Gerade eingebaut, fluppt auf Anhieb. ENDLICH. *AAAARGH*

Alibi-Pics (Kabel-Test und finaler Einbau der GPU):

Leider konnte ich diese komische Querstrebe nicht mehr verbauen, da die M60 zu lang ist und die Kühler der zweiten Einstellung im Weg sind...
War hoffentlich nicht lebensnotwendig...

Kann es sein, dass es für die ollen X540-AT2 aus dem X10 keine Firmware gibt?

 

[Deathrow2004]

Hier auch nochmal ein Update. Wegen Umstrukturierung ist der MiktoTik Router durch einen zusätzlichen 2,5Gbit-Switch mit PoE und SFP+ sowie Mini-PC mit SFP+, auf dem die OPNsense läuft, ersetzt worden.

Zusätzlich wurden noch neue, kurze Kabel gekauft und die Verkabelung nochmal optimiert. Die Switche sind mit kurzen DAC-Kabeln verbunden (Die Chinesen messen übrigens die Kabellänge mit Steckern, sodass es echt ne knappe Angelegenheit ist).

Ansonsten noch mein PC, die OPNsense, der 19" Server sowie das QNAP-NAS per LWL angebunden.

Die Rackwinkel sollten die von TP-Link jedoch nochmal überarbeiten, Spalte hier und da sind nicht wirklich schön.

 

[Steggi]

Dann GPU-Kabel... [...] ENDLICH. *AAAARGH*

Jaaa, das mit den Kabeln ist so ne Sache. Für SM, Dell oder die meisten anderen großen OEMs geht das meist ja noch.
Ich muss mich damit auch irgendwann noch auseinandersetzen, da hier noch ein Intel R2000 rumsteht, wo zwar die Anschlüsse für die internen SSDs oder die GPUs auf dem Board vorhanden sind, aber es die nötigen Kabel bzw. deren Teilenummer nirgends einzeln gibt.

Vermutlich muss ich mir da selber was zusammenbasteln oder einen Shop finden, der Custom Kabel herstellt 😐 Immerhin sind die Pinbelegungen dokumentiert 🙂

Die Chinesen messen übrigens die Kabellänge mit Steckern, sodass es echt ne knappe Angelegenheit ist

Dafür siehts aber noch OK aus. Notfalls hast du ja noch etwas Flexibilität, indem du die LC Keystones mit den RJ45ern auf Position 15-18 tauschst

 

[Deathrow2004]

Die LWL-Kabel passen perfekt, die DAC-Kabel sind sehr knapp. Sollten 25cm sein, aber sind es leider nur inklusive der Module

 

[AliManali]

Weiss nicht, ob die FW oder die blöde Provider Box beleidigt ist/war bei über 35° im Penthouse. Aber reboot tut gut. Freue mich echt, bis ich den Provider gewechselt habe, und ohne den Provider Router auskomme. Dann läuft alles mehr oder weniger auf Profi Hardware. Und der Upstream wird auch nicht mehr kastriert. Weil das bringen die dauerhaft, seit ich es übertreibe mit Bitcoin Fullnode und so.

 

[AliManali]

Kumpel will mir seinen Server "schenken", k.A. Er meinte einfach, ja den Rest bringe ich Dir vorbei, kannst Du haben. Aber der weiss schon, dass ich mich dann erkenntlich zeige. Ich werde also quasi genötigt, mir einen dritten fetten Server hin zu stellen. Bzw. das wird dann mein main Guzli, so der Plan. Mit 48 Core Epyc, und so. Wirft halt wieder meine ganze Planung über den Haufen, aber kann so schlecht nein sagen.

So wie ich ihn verstanden habe, bekomme ich die Parts hier:

• Epyc 7302P
• Noctua Nh-U14s Tr4-Sp3 2 Lüfter Edition
• AsRock RomeD8-2T
• Optane 800P 60GB
• SM 883 2 TB VM Data Store
• PM 883 240GB ESXi
• Evo 860 256GB Filer
• Evo 850 1TB schnelle Ablage
• Supermicro Hotswap Cage 2.5"
• LSI 2008i an napp-it durchgereicht
• Intel Quad NIC
• uralt riesen Tower und Netzteil

RAM und HDDs behält er selber. Nehme dann halt die 256 GB LRDIMM 2400 aus meinem Server, 128er Kit habe ich noch auf Halde rum liegen. 4x 12 TB SAS Drives habe ich auch noch im Schrank, ausserdem noch paar DC SSD. Wird alles irgendwie verwurstet.

Die Kiste ist eh viel zu schade, um zu verstauben, wenn wir ehrlich sind. Vor allem das Board ist sehr geil, alles durchgängig PCIe 4.0. Hat auch gleich X550 onboard und so. Stand schon lange auf der Willhabenliste; wenn ich das jetzt so aufgedrängt bekomme, muss es dann halt.

 

[sch4kal]

Stell dich halt auf einen hohen „Idle“ Verbrauch ein.

 

[AliManali]

Meine aktuelle Maschine zieht so 165-175W mit 8 SSD, 1 HDD, HBA und X540. Die ist immer so mit 40% ausgelastet. Denke die neue Plattform wird sich im selben Rahmen bewegen vom Verbrauch.

 

[pwnbert]

Bisserl Spielzeug. Schön mit Kackstecker, der beigelegte Adaper wirkt aber okay und nachdems bei der 5090 ja doch funktioniert, wirds bei 300W schon okay sein.


Hmhmhm, könnte eng werden... Mal sehen, ob ich das da rein frickel


Isn altes Coolermaster Centurion Midi irgendwas, mit ner durchgehenden 5,25" Front mit Mesh und Filter, einfach geil, selber HDD Käfige mit 120er Lüfter gedruckt und ab.
Ich mag keine Schnellwechselrahmen, die billigen sind alle minderwertig in der Kontaktqualität und die teuren sind mir zu teuer. Ich hab eh nicht vor, dass mir ne HDD stirbt.
Meine Workstation rennt in einem Corsair Carbide 750D ( https://geizhals.de/corsair-obsidian-750d-cc-9011035-ww-a997851.html ), da gabs seinerzeit so extra HDD Käfige dazu, die ich in schlauer Voraussicht mit gekauft habe (mal suchen). Vielleicht kommt mein Desktop in ein neues Gehäuse und ich nehm das, wäre mehr Platz.
=> Zieht sich wieder ewig alles, aus einem Projekt wird das nächste, aus schnell ne Ai-Pro kaufen wird schnell ein neues Gehäuse mit Custom Wakü, lol. Wer kennts nicht.

Erstmal ins Testbed (MC12)... geschickt eingefädelt passt das.


So. Ein paar Sachen über das Ding (also die Gigabyte Ai Pro / Ai Top 9700 32gb), ohne dass ich es groß verwendet habe, darum muss ich mich jetzt mal kümmern:
- 2W idle unter Proxmox (ohne Monitor dran), no shit, gemessen mit Shelly. Wird auch nicht warm, stimmt also.
- ...W idle mit Monitor, kann ich mangels Monitor/Kabel (hab im Keller nur einen alten mit VGA/DVI und finde kein Adapterkabel) gerade nicht messen (glaube das MC12 würde da eh schwierig sein). Reiche ich ggf. nach.
- Hat nen Zero-Fan Modus.
- Gehäuse ist aus Alu rundum, ich hoffe, der RAM ist thermisch sinnvoll mit der Backplate gekoppelt und so, recht wertig.
- 12V-Kackstecker, der Adapter dabei wirkt vernünftig.
- Der Lüfter ist dann nachm booten kurz angesprugnen, war überraschend leise fürn Blower, mal sehn.
- Lüfter under Last ... reiche ich nach.

Schade, dass es kein Dual-Bios gibt mit "Eco/ Performance", hätte mir gefallen, die TDP ohne Softwareeingriff etwas runterregeln zu können.

So, jetzt gehts an die Software (ich bau lieber Hardware), mit Hilfe von Gemma und Qwen auf der 5090.


PS: Ich hab lange Recherche gemacht, ob man nun die Asrock, Asus oder Sapphire will, ist dann die Gigabyte geworden, weil 1) bei meinem Händler zum vernünftigen Preis verfügbar und 2) überraschend gute Rezessionen online, auch wenn die Quellenlage äußerst dünn ist. Powercolor will man wohl nicht, da dürften sich irgendwie alle einig sein.