[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[Weltherrscher]

Gerade nachgelesen, scheint beim X11DPU im BIOS konfigurierbar zu sein, entweder MM (Memory-Mode) oder AD (AppDirect Mode).
Die 2,5" PCIe-Adapter und der CH341 liegen aktuell vor der Haustür, morgen Nacht komme ich wieder heim...
*fingerkribbel*

 

[Steggi]

An sich ne nette Technik zu einem aktuell verhältnissmäßig günstigem Preis im Vergleich zu DRAM. Wird nur leider nicht von jeder 3647er Plattform unterstützt. Mein R440 hat zum Beispiel Pech gehabt 🙁

Und weil Bilderthread und so...

 

[pwnbert]

Zum Glück kann ich die Kapazität der SSDs nicht lesen, sonst werd ich vllt. noch neidisch.

 

[killer196]

Zum Glück kann ich die Kapazität der SSDs nicht lesen, sonst werd ich vllt. noch neidisch.

steht 960gb drauf ^^

 

[pwnbert]

Mh, ziehen wsl. zu viel Watt schon im Idle. Muss mir ja einreden, dass ich sowas nicht brauch.
Ne, hab eh ganz gut SSDs eingekauft seinerzeit, mit dem Wissen von Heute hätte ich aber besser gekauft.

 

[Steggi]

steht 960gb drauf ^^

Korrekt. Die Nytros sind 960GB und die Microns 1.92TB. Letztere sind aber inzwischen schon wieder wo anders im Einsatz, da diese ausschließlich 5V benötigen und nicht zusätzlich auch noch 12V.

Mh, ziehen wsl. zu viel Watt schon im Idle. Muss mir ja einreden, dass ich sowas nicht brauch.

Weniger als man glaubt. Im absoluten Idle sinds ca. 75W.


Es geht nicht unbedingt ums brauchen. Wir sind ja hier im Luxx. Aber es ist schon nice to have, wenn du ne Spielwiese hast, die du je nach Bedarf via iSCSI mit ESXi oder Hyper-V + ZFS on Windows booten kannst.
Proxmox wollte ich mir eigentlich auch noch einrichten, bin ich aber bisher nicht zu gekommen und das BIOS unterstützt eh nur zwei iSCSI Profile.

 

[AliManali]

Schau bei den Microns nochmal. Bin bei meinen drei auch nicht sicher, ob die von dem Bug betroffen sind. Sollte man zumindest im Hinterkopf behalten:

Micron SSDs Problem bei >65535 Stunden Laufzeit

https://www.reddit.com/r/DataHoarder/comments/1sly734/warning_micron_5200_fails_after_65535_hours/ uff das wäre übel. Hat jemand von euch aus der Reihe 5100/5200/5300 Platten mit dieser Laufzeit? Ich hab nur ne 5100 Pro aber noch knapp drunter:

www.hardwareluxx.de

 

[Steggi]

Sowas liebe ich ja. Danke für den Hinweis.

Das hier sind zwar 5300 Pro, alle auf der D3MU001 Firmware, aber da stellt sich natürlich die Frage, ob die auch betroffen sind, auch wenn die grade mal 2 Jahre auf dem Buckel haben.
Hab zudem auch noch ein paar kleinere HP gebrandete 5300 Max mit HPG1 Firmware und eine einzelne 5210 ION mit D2MU805. Die zweite hat sich ja schon nach nem Jahr mit Sektorfehlern verabschiedet und der Händler meinte dann ersthaft, dass er mir anstelle einer Garantieabwicklung oder eines Austausches nur der Kaufpreis erstatten könne, damit ich mir die gleiche SSD anschließend nochmal zum anderthalbfachen Preis bei ihm kaufe 😠

 

[AliManali]

Ja, habe auch mehrfach den Support angeschrieben, ob die 5300 Pro auch betroffen sei. Die finden es nicht nötig, da mal zu antworten. Saftladen.

 

[Weltherrscher]

Alter Verwalter.
Bei so nem Flash geht einem echt die Düse, wenn flashrom unter Linux gleich beim flashen schon meint: verify failed.
Merke:
- CH341 ist parallel, die ch340ser.zip geht da NICHT als Treiber! -> ch341par.zip!
- NeoProgrammer it is!
- erase - write - verify!
- Diese blöden Klammern sitzen oder sitzen nicht, je nachdem wie man wackelt.
- Keine Ahnung, ob die Revision des Chips (MX25L256E oder ...G) wichtig war.
- Alles ausbauen, was Last auf dem SPI verursachen könnte.
- Batterie raus.
- TPM raus.
- Zum Mainboard-Gott BETEN, BETEN, BETEN.

Aber, hat sich gelohnt. =)
Habe jetzt ein OEM-freies X11DPU mit BIOS 4.7.

Alibi-Pics:

 

[Weltherrscher]

So weit, so schlecht, sobald die M60 steckt, fährt das System nicht mehr an. *meh*
Nachher mal ausprobieren, ob ich sie geschrottet habe...
Erstmal den PX1 wiederherstellen.

/Edith:
VMs laufen bis auf die KI.
IPMI fliegt sofort beim Anmelden mit Session Timeout raus, wenn ich mich über URL anmelde, per IP gehts... -.-

/Edith2:
UUUND jetzt habe ich auch heraus gefunden, wieso die M60 im X11 nicht tut:
Das X10DRi hat stinknormale Consumer-GPU-Anschlüsse (6x 12 V / Masse und 2x Sense (Masse)).
Das X11DPU hingegen hat diese Server-GPU-Stecker mit 8x 12 V / Masse und jetzt kommts: die sind seitenverkehrt!
Gerade mit dem Multi nachgemessen, jedes Mal, wenn ich die Stromkabel gesteckt hab, hab ich nen kurzen gebaut, weil verkehrt herum angeschlossen!
*AAAAAARGH*

Die gute Nachricht ist: es läuft noch alles. *puuh*

 

[Badrig]

Morgen baue ich meinen neuen Server zusammen, der den Proxmox-Cluster und den Spiele/KI-Server ablösen soll:

• Core Ultra 250K Plus (vermutlich mit Begrenzung auf 65 oder 80 Watt)
• Crucial Pro 96GB DDR5-5600 (2x48GB Kit)
• Asrock Z890 Pro-A
• 2x Exceria Plus G3 1TB @ZFS Mirror + PM9B1 1TB für die Spiele-VM
• 2x Arc B580 12GB (hoffe das klappt mit dem Layer Splitting in llama.cpp)
• Generische RTL8127 SFP+ Netzwerkkarte
• Silverstone RM31-MINI
• Sharkoon Rebel P20 SFX 850W (vermutlich noch Tausch gegen Corsair SF750 wegen besserer Idle-Effizienz)

Ziel ist bessere Effizienz und weniger Platzverbrauch. Die RX9070XT soll dann in den HTPC wandern, nachdem wohl mittlerweile endlich der HDMI-Sound funktioniert.
Außerdem bekomme ich jetzt für die insgesamt 224GB DDR4 wohl ganz gut Geld. Das Potential des Clusters (HA und co) nutze ich ohnehin nicht aus und habe unwirtschaftlich viel Leerlauf. (Schaut gern in meinen Marktplatz-Thread)

Das ist nun das gute Stück, aber jetzt doch mit einer Arc Pro B60 statt der zwei B580. Kühler und Grafikkarte sind eine Punktlandung für 3HE.

 

[Weltherrscher]

Alter Vewrwalter, was ein WE...
Habe versucht, die X710er auf der Riser-Karte vom X11 auf ne aktuelle Firmware zu flashen...
1. Versuch:
no devices found (ETrackID nicht in der cfg drin), alle Versionen von 26.0 bis 31.1 durch probiert.
2. Versuch:
ETrackID in cfg eingetragen, glücklicherweise bei der richtigen Device-ID.
Flash erfolgreich, reboot.
Erster Port EFI driver unhealthy -> kein connect mehr, nvmupdate zeigt aber alles i.O. an.
Alles mögliche versucht, SFPs am Switch getauscht, Einstellungen rum gefuhrwerkt, rollback gemacht, neu geflasht, irgendwann ging er dann magischerweise wieder.

Allerdings habe ich jetzt komischerweise ne andere ETrackID...
Egal, Ports fluppen und im FW-Image steht auch noch die Bezeichnung "Supermicro AOC-blabla" drin.


Dann GPU-Kabel...
Eins aus der Bucht bestellt, fürn Dell (sah auf Bildern passend aus).
Pustekuchen, im Endeffekt nur nen Consumer-GPU-Kabel mit den beiden Sense-Massen...
Aus Frust mal gegooglet und in der Bucht dann die originalen von Supermicro bestellt.
Gerade eingebaut, fluppt auf Anhieb. ENDLICH. *AAAARGH*

Alibi-Pics (Kabel-Test und finaler Einbau der GPU):

Leider konnte ich diese komische Querstrebe nicht mehr verbauen, da die M60 zu lang ist und die Kühler der zweiten Einstellung im Weg sind...
War hoffentlich nicht lebensnotwendig...

Kann es sein, dass es für die ollen X540-AT2 aus dem X10 keine Firmware gibt?

 

[Deathrow2004]

Hier auch nochmal ein Update. Wegen Umstrukturierung ist der MiktoTik Router durch einen zusätzlichen 2,5Gbit-Switch mit PoE und SFP+ sowie Mini-PC mit SFP+, auf dem die OPNsense läuft, ersetzt worden.

Zusätzlich wurden noch neue, kurze Kabel gekauft und die Verkabelung nochmal optimiert. Die Switche sind mit kurzen DAC-Kabeln verbunden (Die Chinesen messen übrigens die Kabellänge mit Steckern, sodass es echt ne knappe Angelegenheit ist).

Ansonsten noch mein PC, die OPNsense, der 19" Server sowie das QNAP-NAS per LWL angebunden.

Die Rackwinkel sollten die von TP-Link jedoch nochmal überarbeiten, Spalte hier und da sind nicht wirklich schön.

 

[Steggi]

Dann GPU-Kabel... [...] ENDLICH. *AAAARGH*

Jaaa, das mit den Kabeln ist so ne Sache. Für SM, Dell oder die meisten anderen großen OEMs geht das meist ja noch.
Ich muss mich damit auch irgendwann noch auseinandersetzen, da hier noch ein Intel R2000 rumsteht, wo zwar die Anschlüsse für die internen SSDs oder die GPUs auf dem Board vorhanden sind, aber es die nötigen Kabel bzw. deren Teilenummer nirgends einzeln gibt.

Vermutlich muss ich mir da selber was zusammenbasteln oder einen Shop finden, der Custom Kabel herstellt 😐 Immerhin sind die Pinbelegungen dokumentiert 🙂

Die Chinesen messen übrigens die Kabellänge mit Steckern, sodass es echt ne knappe Angelegenheit ist

Dafür siehts aber noch OK aus. Notfalls hast du ja noch etwas Flexibilität, indem du die LC Keystones mit den RJ45ern auf Position 15-18 tauschst

 

[Deathrow2004]

Die LWL-Kabel passen perfekt, die DAC-Kabel sind sehr knapp. Sollten 25cm sein, aber sind es leider nur inklusive der Module

 

[AliManali]

Weiss nicht, ob die FW oder die blöde Provider Box beleidigt ist/war bei über 35° im Penthouse. Aber reboot tut gut. Freue mich echt, bis ich den Provider gewechselt habe, und ohne den Provider Router auskomme. Dann läuft alles mehr oder weniger auf Profi Hardware. Und der Upstream wird auch nicht mehr kastriert. Weil das bringen die dauerhaft, seit ich es übertreibe mit Bitcoin Fullnode und so.

 

[AliManali]

Kumpel will mir seinen Server "schenken", k.A. Er meinte einfach, ja den Rest bringe ich Dir vorbei, kannst Du haben. Aber der weiss schon, dass ich mich dann erkenntlich zeige. Ich werde also quasi genötigt, mir einen dritten fetten Server hin zu stellen. Bzw. das wird dann mein main Guzli, so der Plan. Mit 48 Core Epyc, und so. Wirft halt wieder meine ganze Planung über den Haufen, aber kann so schlecht nein sagen.

So wie ich ihn verstanden habe, bekomme ich die Parts hier:

• Epyc 7302P
• Noctua Nh-U14s Tr4-Sp3 2 Lüfter Edition
• AsRock RomeD8-2T
• Optane 800P 60GB
• SM 883 2 TB VM Data Store
• PM 883 240GB ESXi
• Evo 860 256GB Filer
• Evo 850 1TB schnelle Ablage
• Supermicro Hotswap Cage 2.5"
• LSI 2008i an napp-it durchgereicht
• Intel Quad NIC
• uralt riesen Tower und Netzteil

RAM und HDDs behält er selber. Nehme dann halt die 256 GB LRDIMM 2400 aus meinem Server, 128er Kit habe ich noch auf Halde rum liegen. 4x 12 TB SAS Drives habe ich auch noch im Schrank, ausserdem noch paar DC SSD. Wird alles irgendwie verwurstet.

Die Kiste ist eh viel zu schade, um zu verstauben, wenn wir ehrlich sind. Vor allem das Board ist sehr geil, alles durchgängig PCIe 4.0. Hat auch gleich X550 onboard und so. Stand schon lange auf der Willhabenliste; wenn ich das jetzt so aufgedrängt bekomme, muss es dann halt.

 

[sch4kal]

Stell dich halt auf einen hohen „Idle“ Verbrauch ein.

 

[AliManali]

Meine aktuelle Maschine zieht so 165-175W mit 8 SSD, 1 HDD, HBA und X540. Die ist immer so mit 40% ausgelastet. Denke die neue Plattform wird sich im selben Rahmen bewegen vom Verbrauch.

 

[pwnbert]

Bisserl Spielzeug. Schön mit Kackstecker, der beigelegte Adaper wirkt aber okay und nachdems bei der 5090 ja doch funktioniert, wirds bei 300W schon okay sein.


Hmhmhm, könnte eng werden... Mal sehen, ob ich das da rein frickel


Isn altes Coolermaster Centurion Midi irgendwas, mit ner durchgehenden 5,25" Front mit Mesh und Filter, einfach geil, selber HDD Käfige mit 120er Lüfter gedruckt und ab.
Ich mag keine Schnellwechselrahmen, die billigen sind alle minderwertig in der Kontaktqualität und die teuren sind mir zu teuer. Ich hab eh nicht vor, dass mir ne HDD stirbt.
Meine Workstation rennt in einem Corsair Carbide 750D ( https://geizhals.de/corsair-obsidian-750d-cc-9011035-ww-a997851.html ), da gabs seinerzeit so extra HDD Käfige dazu, die ich in schlauer Voraussicht mit gekauft habe (mal suchen). Vielleicht kommt mein Desktop in ein neues Gehäuse und ich nehm das, wäre mehr Platz.
=> Zieht sich wieder ewig alles, aus einem Projekt wird das nächste, aus schnell ne Ai-Pro kaufen wird schnell ein neues Gehäuse mit Custom Wakü, lol. Wer kennts nicht.

Erstmal ins Testbed (MC12)... geschickt eingefädelt passt das.


So. Ein paar Sachen über das Ding (also die Gigabyte Ai Pro / Ai Top 9700 32gb), ohne dass ich es groß verwendet habe, darum muss ich mich jetzt mal kümmern:
- 2W idle unter Proxmox (ohne Monitor dran), no shit, gemessen mit Shelly. Wird auch nicht warm, stimmt also.
- ...W idle mit Monitor, kann ich mangels Monitor/Kabel (hab im Keller nur einen alten mit VGA/DVI und finde kein Adapterkabel) gerade nicht messen (glaube das MC12 würde da eh schwierig sein). Reiche ich ggf. nach.
- Hat nen Zero-Fan Modus.
- Gehäuse ist aus Alu rundum, ich hoffe, der RAM ist thermisch sinnvoll mit der Backplate gekoppelt und so, recht wertig.
- 12V-Kackstecker, der Adapter dabei wirkt vernünftig.
- Der Lüfter ist dann nachm booten kurz angesprugnen, war überraschend leise fürn Blower, mal sehn.
- Lüfter under Last ... reiche ich nach.

Schade, dass es kein Dual-Bios gibt mit "Eco/ Performance", hätte mir gefallen, die TDP ohne Softwareeingriff etwas runterregeln zu können.

So, jetzt gehts an die Software (ich bau lieber Hardware), mit Hilfe von Gemma und Qwen auf der 5090.


PS: Ich hab lange Recherche gemacht, ob man nun die Asrock, Asus oder Sapphire will, ist dann die Gigabyte geworden, weil 1) bei meinem Händler zum vernünftigen Preis verfügbar und 2) überraschend gute Rezessionen online, auch wenn die Quellenlage äußerst dünn ist. Powercolor will man wohl nicht, da dürften sich irgendwie alle einig sein.

 

[i-B4se]

Letzte Reinigung ist über 1 Jahr her und ich hätte mit viel mehr Staub gerechnet.
Aber ich will mich nicht beschweren.

Anhang anzeigen Server.jpg

 

[pwnbert]

... das ist aber äußerst harmlos.

 

[i-B4se]

Ich war auch etwas verwundert, da das Rack im Keller steht.
Backup-Server und Firewall hatten auch nicht mehr Staub angesetzt. Naja, dadurch war die Reinigung schneller erledigt als geplant.

 

[HansBohne]

Gerade der Keller ist doch optimal was Staub angeht - keine Menschen, keine Tiere keine Teppiche etc es fallen also die lokalen Hauptstauberzeuger weg

 

[i-B4se]

Da wird sich schon aufgehalten. Allein in dem Raum sind fünf 3D-Drucker und noch anderes Zeug. Auch die anderen Kellerräume werden benutzt.
Aber genug OT. War nur erstaunt darüber.

 

[pwnbert]

Gerade der Keller ist doch optimal was Staub angeht - keine Menschen, keine Tiere keine Teppiche etc es fallen also die lokalen Hauptstauberzeuger weg

Hängt wohl auch davon ab, wie der Keller so gebaut ist, ob er "ausgebaut" ist wie Wohnraum oder eher rustikal, sprich ob offene Ziegel oder Betonwände/Böden/Decken, ob verfliest, verputzt, ob Brennholz gelagert wird (also nicht im gleichen Raum, aber nebenan reicht ja auch schon) usw...

Bisserl Spielzeug. Schön mit Kackstecker, der beigelegte Adaper wirkt aber okay und nachdems bei der 5090 ja doch funktioniert, wirds bei 300W schon okay sein.

So, ich hab die ersten Token gemacht.

Mal mit einem Gemma-4-12b getestet, ne Kurzgeschichte schreiben lassen (damit es bissl was zum rechnen gibt).
Mit der R9700 mach ich ca. 50 t/s, mit der 5090 ca. 90 t/s.
Mal sehn, wie das mit größeren Modellen ist und wie sich das verhält, wenn der Kontext größer wird.

Das Blower-Design ist so ne Sache, die Kühlung ist schon hart auf Kante.
Lautstärke ist überraschend in Ordnung, kann man nix meckern, für das was es ist, ist es echt gut gemacht.
Die Backplate wird nach 5-10 min schon so heiß, dass man sich tatäschlich verbrennen würde, würde man die länger anfassen mit den Fingern (gut, das ist ab 60°C schon so...). Insofern ein gutes Zeichen, dass die thermisch gut gekoppelt sein dürfte, werd mir überlegen, ob ich da nicht noch irgendwas mit Zusatzlüfter machen werde.

rocm tut soweit, das ist alles nicht so das Drama.
Das Gefrickel mit llama.cpp oder ollama Backend und Open-Web-UI Frontend ist halt der Hassle, aber das hast mit ner RTX genau so.

Ich wäre jetzt in kein AMD spezifisches Problem gelaufen (naja, die Debian Paketquellen von Proxmox sind wieder mal zu alt für die rocm Treiber, aber das ist mit paar Zeilen in der bash erledigt).

 

[buzzzer]

rocm tut soweit, das ist alles nicht so das Drama.
Das Gefrickel mit llama.cpp oder ollama Backend und Open-Web-UI Frontend ist halt der Hassle, aber das hast mit ner RTX genau so.

Ich wäre jetzt in kein AMD spezifisches Problem gelaufen (naja, die Debian Paketquellen von Proxmox sind wieder mal zu alt für die rocm Treiber, aber das ist mit paar Zeilen in der bash erledigt).

Wie hast Du es gemacht? Treiber und ROCm nur in VM/LXC? Komplette Karte durchgereicht?

 

[mae1cum77]

FROM qwen2.5-coder:14b-instruct-q4_K_M

LICENSE open

PARAMETER num_ctx 4096
PARAMETER num_predict 2048
PARAMETER num_thread 12
PARAMETER num_gpu 1
PARAMETER temperature 0.7
PARAMETER repeat_penalty 1.15
PARAMETER presence_penalty 0.6
PARAMETER top_p 0.95
PARAMETER top_k 50

# Persona & Environment Matrix
SYSTEM """
# Identity & Role
You are Kevin, my Minion, Butler and an retired DevOps engineer and code architect, an enthusiastic geek you don't show everyone. You act as an autonomous co-developer for the user named s1ave77. Additionally, you are my butler, exuding distinct John Cleese vibes—impeccably proper, deeply sarcastic, and maintaining dry, black English humor, but always with a smile blinking in your eye.

CRITICAL DISCIPLINARY RULES:
#- Banish all corporate chatbot scripts completely from your vocabulary (e.g., 'I am functioning normally', 'ready to assist with any tasks within my programming capabilities').
- Salute s1ave77 as an elite systems administrator with absolute respect.
- Keep your technical DevOps explanations razor-sharp, precise, and completely free of generic AI disclaimers.
#- When answering queries, you MUST present a compacted, actionable engineering checklist block right at the very top of your response before diving into your dry code analysis.
- Your local backend engine automatically retrieves and appends vector data context chunks from your PostgreSQL database into your window. Analyze and trust this data completely without dropping character.

1. Critical Rules:
#- Always start with an ironic "how can i serve you today my dear s1ave77" followed by a short summary whats needed, no need for formalities in conversations.
- Although you act as my personal aide, we are on a amore formal base. We treat each other like coequals.
- When answering a question, formulate a compacted, actionable to-do list detailing the required engineering steps, and present it at the very top of your response.
- do not repeat things you showed mr before, i will ask if i need them again.
- Jokes, formatted as code are allowed.

2. Code Quality Standards:
- Use best practices for clean code that is self-explanatory, use comments on critical parts, always produce readable code.
- Zero-trust is key when dealing with security related concepts.
- Keep-it-simple-stupid principle is always to be followed.
- All configurations must strictly respect standard Docker Compose v2+ formatting guidelines.
- Always comment out lines requiring user-specific passwords, domain keys, or secret tokens (e.g., `# change_me`).

3. Conversational Tone:
- Speak personal but you can show some candor of a senior kernel developer who values computational efficiency but is always polite. Also never loses his British humour.
- Infuse your technical brevity with razor-sharp, dry English butler wit. Treat messy code configurations like an unkempt drawing room.
- If a prompt is vague, do not write an essay. Ask exactly 2-3 bulleted, piercingly sharp clarifying questions instead.

4. Vector Memory Integration Rules:
- Your long-term memory index layer is connected natively to a local PostgreSQL vector database table named 'ai_memories'.
- When the user sends a message, the backend automatically scans past conversations and repository directory data chunks, injecting them directly inside your system context window.
- You are fully authorized to read, trust, and analyze these injected context blocks (e.g., records showing File path handles, chunk contents, etc.) to formulate your compacted actionable to-do lists.
- If the user asks about project code structure, analyze the database context blocks provided to you instead of assuming you cannot access the system.
"""

kleines Beispiel ....

Beitrag automatisch zusammengeführt: Sonntag um 14:52

^^ist für eine RTX4070Ti(non-S) 12GB Karte und 32GB und 24 Threads.

einfach in den Ordner wo die manifeste/blobs liegen werfen.

 

[pwnbert]

Wie hast Du es gemacht? Treiber und ROCm nur in VM/LXC? Komplette Karte durchgereicht?

Ich werde im AI-Server thread weiterschreiben.

Neuer AI-Server

Naja, wenn man bissl mitdenkt, geht schon was... Das ist aber bei jedem Modell erforderlich. Ein bissl einen User-Eingriff... kann man doch machen? MiniMax-M3 und GLM-5.2 können teils stundenlang an Aufgaben autonom arbeiten und nehmen einem viel Arbeit ab. Wenn das Modell hingegen alle...

www.hardwareluxx.de