[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

[Bob.Dig]

quasi: |natforwarding -> Wireguard -> natforwarding -> ServerDienste
Funktioniert ganz gut.

Und wofür machst Du das nun genau? Weil dein Glasfaser Internet keine öffentliche IPv4 hat oder warum?

 

[Tuxist]

Und wofür machst Du das nun genau? Weil dein Glasfaser Internet keine öffentliche IPv4 hat oder warum?

genau leider habe ich hier nur ds-lite :-(

 

[Weltherrscher]

Über ne nette Anfrage, ob du nen Business-Tarif mit fester IP bekommen könntest geht auch nix?

 

[besterino]

Um mal wieder ein Bild zu haben... ;-)

Heut' wird endlich mal wieder gebastelt:

Hab quasi mal wieder die Fassung bzw. Vernunft verloren. EIGENTLICH läuft der TR als Server völlig ausreichend. Aber uneigentlich ist der 3960X als Server Perlen vor die Säue, mein aktueller 11900k Desktop (mit'nem Gigabyte Brett) regt mich nur auf (nix Lanes! Doofes BIOS & komisches Verhalten bei mehr Steckkarten als nur ne Graka) und außerdem hab ich vor Monaten sehr günstig 256GB RAM in RDIMMs gekauft, die aber dummerweise auf keinem meiner aktuellen Systeme (insb. X11Spi-TF mit Silver 4108 meckert "not supported") funktionieren...

Jetzt heisst's Daumen drücken, dass der vorhandene RAM auch wirklich mit dem Brett lüppt. Wär sonst irgendwie wieder doof.

 

[Neo52]

der eine hat wahrscheinlich mehr Leistung als diese 4x Opteron 6276.

Ich wollte das System mal auf Funktion testen, aber aktuell scheitert es an Kühlern

Eigentlich war das Board nur als Zierde gedacht, aber mittlerweile ist es komplett (außer die Kühler)

Opteron habe ich nun einige, aber einen EPYC hab ich noch nicht in der Sammlung. Das haut aktuell doch noch ein mittelgroßes Loch ins Budget und verwenden tue ich die Leistung ja auch nicht.

 

[besterino]

Tjo Kühler… der Noctua-Turm oben im Bild passt zwar, bläst aber statt nach hinten leider nach oben/zur Seite - eher Käse fürn gescheiten Airflow in nem 19“ Gehäuse. Der gut sortierte Haushalt hatte aber noch ein TR4/SP3 Heatsink für 2U inkl. Lüfter von Supermicro auf Lager (keine Ahnung mehr, wann/warum ich das mal gekauft hatte), das die richtige Ausrichtung hat…

Wird zwar wahrscheinlich trotz besserer Ausrichtung trotzdem lauter, aber egal.

 

[myBerg]

Tjo Kühler… der Noctua-Turm oben im Bild passt zwar, bläst aber statt nach hinten leider nach oben/zur Seite - eher Käse fürn gescheiten Airflow in nem 19“ Gehäuse. Der gut sortierte Haushalt hatte aber noch ein TR4/SP3 Heatsink für 2U inkl. Lüfter von Supermicro auf Lager (keine Ahnung mehr, wann/warum ich das mal gekauft hatte), das die richtige Ausrichtung hat…

Wird zwar wahrscheinlich trotz besserer Ausrichtung trotzdem lauter, aber egal.

Probier mal, ob du die CPU-Lüfter nicht einfach weglassen kannst. Bei mir läuft der EPYC 7282 mit 16 Kernen und der wird selbst bei runtergeregelter 19" Gehäuselüftung nicht besonders warm. Da reicht ein leichter Luftzug bei so einem riesigen Noctua.

Es sei denn Du hast dir da jetzt ein F-Modell gegönnt oder so ein Kernmonster.

 

[besterino]

Ne, hab exakt auch den 7282 (m.E. bestes - noch bezahlbares - Preis-/Leistungsverhältnis).

Der kleine Lüfter läuft gerade sogar erträglich leise. Hab übrigens Glück gehabt, der Speicher rennt! Hier mal die aktuelle "Testbench" - ESXi 7 ist installiert & läuft (auf dem DOM), ein paar VMs testweise auch bereits vom NFS-Storage:

Das richtige Netzwerk und Storage zieh' ich dann heute Nacht um und ins richtige Gehäuse. Das dauert aber (will bei der Gelegenheit auch noch ein paar Optimierungen und Tests machen) und so lange kann ich aktuell der Family nicht die Infrastruktur wegnehmen...

 

[MisterY]

würde mich freuen, wenn du den Stromverbrauch messen könntest.

 

[besterino]

So, oder fertig?

 

[MisterY]

Beides

 

[myBerg]

Ne, hab exakt auch den 7282 (m.E. bestes - noch bezahlbares - Preis-/Leistungsverhältnis).

Endlich wieder muss man sagen. Der war ja wie alle EPYCs das letzte Jahr über unbezahlbar. Jetzt wieder bei ~660€.

Der kleine Lüfter läuft gerade sogar erträglich leise. Hab übrigens Glück gehabt, der Speicher rennt! Hier mal die aktuelle "Testbench" - ESXi 7 ist installiert & läuft (auf dem DOM), ein paar VMs testweise auch bereits vom NFS-Storage:

Anhang anzeigen 752769

Das richtige Netzwerk und Storage zieh' ich dann heute Nacht um und ins richtige Gehäuse. Das dauert aber (will bei der Gelegenheit auch noch ein paar Optimierungen und Tests machen) und so lange kann ich aktuell der Family nicht die Infrastruktur wegnehmen...

Das Board finde ich einfach nur Mega. Supermicro H12SSL-C? 5x PCIe 4.0 x16, 2x PCIe 4.0 x8 . Schön auch, dass hinter den PCIe-Steckplätzen Platz ist für lange Karten. Universeller geht es nicht mehr.

EPYC ist als Plattform einfach nur wunderbar. No more Limits! Glückwunsch zum neuen System.

 

[besterino]

Danke! Bin mal gespannt, ob damit jetzt ein paar Sachen funzen, die mit der AsrockRack-Plattform für den 3960X nicht gingen. Da gab es sonderbare Phänomene mit 'ner ConnectX-4 (auf einem von zwei Ports ging SR-IOV, auf dem anderen nicht...) und mir fehlten wohl CPU-Lanes um den HBA noch durchzureichen, zumindest ging das nicht auf den Chipsatz-Lanes und CPU-Lanes waren aus (8x4=32 für NVME, 1x16 für NIC). Hätte ich mir vor ein paar Jahren auch nicht Träumen lassen, dass mir mal 64 Lanes zu wenig sind...

 

[v3nom]

Den 7282 habe ich auch im Auge
Warum der Kühler? Platzprobleme?

 

[besterino]

Ne. Nur schwierig einen zu finden der richtig ausgerichtet ist, so dass der Lüfter nach hinten bläst.

 

[oNyX`]

würde mich freuen, wenn du den Stromverbrauch messen könntest.

Wäre ich auch sehr interessiert dran.

 

[myBerg]

Ne. Nur schwierig einen zu finden der richtig ausgerichtet ist, so dass der Lüfter nach hinten bläst.

Bei mir ist ein Noctua NH-U9 TR4-SP3 ohne Lüfter montiert. Wären die Lüfter montiert, würden sie auch in die falsche Richtung quer lüften. Daher habe ich sie abmontiert. Ich hatte anfangs die selben Bedenken, dass das nicht reichen würde. Hat sich als unbegründet herausgestellt. Im 19" Rack sind drei Noctua NF-F12 iPPC-3000 PWM für den Hauptluftstrom verantwortlich. Die Lüfterkurve ist an die CPU angepasst. Läuft einwandfrei. Im Idle gerade mal 37°C. Und ich habe da noch nie Temperaturen gesehen, die auch nur annähernd an Desktop-CPUs heranreichen.

Normal habe ich keine riesen Lasten, die alle Cores auslasten. Aber auch bei den Cinebenches, die ich bei der Erstmontage mal gemacht habe war das problemlos mit dem Setup. Die 120W die die CPU verheizen darf, sind ja jetzt nicht so viel. Kann man mit einem Threadripper nicht vergleichen.

2 VMs. Einmal Linux 8 Core stress-ng --cpu 8 und eine Win10 VM 8Core mit Prime95. Die Temperatur steigt von 37°C auf 62°C und bleibt dort. Die Lüfter müssen nichtmal richtig hochdrehen:

 

[v3nom]

Ne. Nur schwierig einen zu finden der richtig ausgerichtet ist, so dass der Lüfter nach hinten bläst.

Arctic Freezer 4U SP3

 

[besterino]

Hab ja einen. Der tut grad ... bin bei 40°C auf der CPU. Der NIC6 Sensor erscheint mir aber gerade etwas hoch - kümmere ich mich die Tage vielleicht mal drum...

Beitrag automatisch zusammengeführt: 26.04.2022

@MisterY @oNyX`

Also ich hab gerade drin:

Onboard NIC 1 Port belegt (1gbit)
1x ConnectX-4, beide Ports belegt (100gbit / 10gbit)
1x HBA9305 (24-Port)
4x Samsung 980Pro 1TB NVME (Asrock Hyper Pcie4)
4x Adata 2TB NVME (Asus Hyper Pcie3)
2x Samsung PM9A1 1TB NVME
15x 2,5" SATA SSD
1x SuperDOM SSD
6 Lüfter (3x 120, 2x80, 1xCPU (60?))
4x 64GB RAM DDR4 RDIMM

Es laufen zurzeit 5 VMs:
3x Linux (VPN, Teamspeak, Lancache)
1x FreeBSD (TrueNAS),
1x Windows 10 (Ark Evolved dedicated Server)

Frisst aktuell: ~160W. Langweilt sich gerade.

Hardware ist weitgehend komplett (mehr kommt da erst einmal nicht dazu). Bei den VMs wird sich noch ein wenig verändern... Hab jetzt mal nur das "Wichtigste" migriert/hochgefahren.

Aber schon mal erfreulich: nicht nur der RAM läuft, jetzt funzt auch SR-IOV auf beiden Ports der NIC und auch beim HBA lässt sich PCIE-Passthrough aktivieren. Supermicro ist immer noch ne andere Nummer als AsrockRack (wie erwartet, wobei mir das AsrockRack-Brett durchaus gut gefällt als Nischenprodukt, das es nunmal ist).

 

[MisterY]

@besterino danke dir, aber ist das nicht etwas viel? Mein R620 mit zwei E5-2670 V2, 22x 8 GB RAM usw frisst im idle gerade mal 98 W. Da finde ich 160 W bei einer neuen Architektur schon ziemlich hoch für "er tut nichts"

 

[danielmayer]

Oder die 98W stimmen nicht...
Ich halte 160W bei der Ausstattung für sehr plausibel.

 

[besterino]

Keine Ahnung. OS ist ESXi - das war noch nie ein Stromsparwunder. Der TR vorher war ähnlich durstig. Ansonsten: wenn man mal allein 2W pro SSD annimmt (keine Ahnung ob das passt), wäre man ja bereits bei 50W plus nochmal vielleicht je 10W für NIC und HBA macht 70 - bleiben 80 für CPU, BMC, RAM, onboard-HBA und alles sonstige Gelumpe…

Aktuell ist er angeblich sogar nur bei 147W…

 

[Tuxist]

Über ne nette Anfrage, ob du nen Business-Tarif mit fester IP bekommen könntest geht auch nix?

Leider nicht zumal der güntigste Buisness Tarif fangen bei 400 € und bei privaten macht Sie es auch nicht :-(

 

[besterino]

@Tuxist bitter. Beim deutschen Lilalaunebär kostet das ~5-10 Euro im Monat mehr und dafür bekommt man neben einer festen IP auch noch wirklich guten Support...

 

[Tuxist]

@Tuxist bitter. Beim deutschen Lilalaunebär kostet das ~5-10 Euro im Monat mehr und dafür bekommt man neben einer festen IP auch noch wirklich guten Support...

hier liegt nur Glasfaser von der Deutschen Glasfaser und das Kupfer von der Telekom ist hier sagen wir es mal so nicht mehr ganz heile ^^

 

[sch4kal]

@Tuxist bitter. Beim deutschen Lilalaunebär kostet das ~5-10 Euro im Monat mehr und dafür bekommt man neben einer festen IP auch noch wirklich guten Support...

Der deutsche Lilalaunebär sitzt auch auf 34 mio. v4 Adressen, da kann man schon mal spendabel damit sein.
Das stellenweise miese Peering gibts allerdings gratis

 

[MisterY]

Oder die 98W stimmen nicht...
Ich halte 160W bei der Ausstattung für sehr plausibel.

Die stimmen aber. Überprüft mit idrac und zwei unterschiedlichen Strommessgeräten an zwei baugleichen Servern.

 

[AliManali]

Neidisch? Auf 10Gbit Internet? Immer.

Immerhin. Ich könnte auch 4x 25/25, 10/10 5G sowie 1/0.1 Cable beziehen, verdrahtet wärs ja bis in die Wohnung.

Ausserdem sitzt der POP 50m von hier. Ich hör den nachts brummen

 

[taeddyyy]

Spoiler: Vorher

Habe heute mal meinen 10 Zoll Schrank aufgeräumt und nen Allnet 16 Port Switch verbaut. Weil hier alle ihre Hochglanzbuden zeigen will ich euch auch mal die nackte, ungeschönte Wahrheit zeigen. Deswegen gibts auch vorher/nacher Bilder und Frankensteins ESXi Host mit i7 4790k, D3222-B, 24GB DDR3, 3x4 TB, 2x 250GB im Keller. Der braucht auch mal wieder etwas Pflege

Viel Spaß beim gruseln

Anhang anzeigen 732039Anhang anzeigen 732041

Anhang anzeigen 732044

So gab nun ein Upgrade. Das alte System durfte weichen (siehe MP) und ein vollständig neues System wurde aufgebaut.
Endlich mal ein hübscher HomeServer wie ich ihn mir für zuhause gewünscht habe.

- Xeon E5 2699 V3 18x 2.30 Ghz (danke an @Woozy )
- 128GB DDR4 ECC Ram
- Supermicro X10SRi-F
- LSI MegaRAID 9361-8i
- Qlogic QLE3442 Dual-port 10Gbit
- Dual 750 Watt 80+ Gold NTs

- 2x 8 TB Seagate Ironwolf (Data Storage)
- 2x 250GB Samsung 860 Pro (VM Storage)
- 1x 10TB Seagate Ironwolf (Backup)
- 1x 4TB Seagate Exos 7E8 (DVR Storage)
- 1x 2TB Seagate 2.5 Zoll (ISO Storage usw)

Aktuell baue ich die VMs noch auf, der Stromverbrauch bei 3 VMs im Idle liegt bei um die 78 Watt +-
Das sind rund 10 Watt mehr als mit meinem alten 1151 System, die Leistungsreserven sind aber dafür um ein vielfaches gestiegen.
Mit optimieren ist da bestimmt noch etwas potenzial.

Ziel war es halbwegs günstig eine Basis für TrueNAS zu schaffen die mir die kommenden Jahre genügt und zusätzlich eine kleine Testumgebung zu haben um etwas rumzuspielen.

 

[MisterY]

Bin ich blind oder sehe ich den Server nicht auf dem Bild?