[Worklog] Vollumbau vom Homelab

[Woozy]

Hallo Community,

kurzum: Mir hängen meine alten Server, die prinzipiell jeweils ein glorifiziertes SMB-Share sind, zum Hals raus. Backups laufen nur manuell, die Hardware ist absolut nicht zukunftssicher - das kann man so nicht auf sich sitzen lassen. Da wir jetzt seit den Umzug in unser Haus zu einem deutlich mehr Platz haben (von 80qm auf 300qm), deutlich höhere ansprüche haben und auch deutlich mehr Lust auf Netzwerk wollten wir hier zusammen mit dem Netzwerk auch Nägel mit Köpfen machen.

Wo waren wir denn eigentlich?
Aktuell habe ich zwei Server mit (nahezu) 1:1 identischer Hardware. Von Server 1 wird auf Server 2 gespiegelt über Macrium, als OS lief Windows 10 Pro. Es liefen keinerlei Dienste auf Server 1 und Server 2, das soll sich im Rahmen der Umstellung jetzt auch ändern. Wir werden auf TrueNAS SCALE umsteigen, damit wir u.A. mit Immich mal endlich unsere Daten in den Griff bekommen. Woraus sich die Daten zusammenstellen:
- Bilder und Videos von unseren Wandertrips (~100-250GB / Wochenende vor der Sortierung)
- Handybackups (Alle paar Monate ~250GB vor der Sortierung)
- Videos von unseren Wildtierkameras (auf 700qm Naturgarten ist was los, das ist wirklich unfassbar. Füchse, Dachse, Marder, Igel, Eichhörnchen etc.

)
- 3D-Modelle für 3D-Druck

Was ist denn überhaupt gerade los?
Aktuell hat sich das schon auf ~6TB insgesamt summiert. Problematisch ist, das es nur wenige Standards für die Namen haben und es auch immer mal schwer ist überhaupt was zu finden. Unter 165.000 Bildern z.B. DAS Bild einer Amsel zu finden ist utopisch, vor allem so unsortiert wie alles ist. Hier kommt auf jeden Fall Immich zu tragen, auch damit wir ohen SMB auf die Daten zugreifen können, z.B. mal spontan via Smartphone. Auch möchten wir die Performance der neuen Server (in dem Fall nur von Server 1, weil Server 2 nur Backup wird) bzgl. der KI-Bilderkennung von Immich endlich mal (etwas) Auslasten. Hier auch ganz Wichtig: Es werden wohl deutlich weniger Daten wenn wir mal aufräumen.

Warum TrueNAS und nicht Unraid?
Zu einem habe ich mit die kommende Hardware für meine Server angeguckt und daraus dann entschieden, das in Anbetracht des zur Verfügung stehenden RAM TrueNAS "Lauffähiger" wäre als Unraid. Unraid würde natürlich auch funktionieren, weil es weniger RAM braucht - Hardware soll aber genutzt werden. TrueNAS geht von 1GB RAM pro 1TB Speicher aus (Plus etwas Overhead), Da ich im "großen" Server auf ca. 24TB benutzbaren Speicher komme werden die 256GB RAM hier auf jeden Fall (incl. Apps) reichen. Im Backupserver sind insgesamt 40TB nutzbar bei 128GB RAM. Und: Da ich den Speicher kurz vor dem aktuellen Anstieg gekauft habe waren die Preise mit ca. 20€ / Modul absolut vernachlässigbar.

Der Plan ist das es am Ende wieder zwei Server gibt, wenn man so will einen "Worker" und einen "Backup", ebenso wird es dieses mal einen dritten Server als Testsystem, hier "Tester" genannt, geben. Ja, das könnten sicherlich auch die anderen beiden Server übernehmen aber ich habe den Platz und die Lust

Hier noch die Hardware der Server.

"Worker":

• CPU: Intel Xeon 4116, 2,1 - 3.0 GHz, 12C / 24T, Sockel 3647
• Kühler: Supermicro SNK-P0068APS4 mit Noctua NF-A6-25 FLX
• RAM: 4x 64GB M386A8K40BM2-CTD6Q DDR4 Reg. ECC
• Board: Supermicro X11DPL-I (Single-Socket-Betrieb)
• SSD (OS): 2x 32GB SanDisk U110 SATA auf NFHK N-582A V1.0
• Array 1: 4x 4TB SSD Intel SSDSC2KB038T801
• Array 2: 4x 4TB SSD Intel SSDSC2KB038T801
• Array 3: 2x 2TB SSD Intel SSDS2C2KB019T8R
• GPU: Gigabyte RTX3050 OC LP 6GB
• Case: Chenbro RM41416B
• Case-Cooling: 3x Noctua NF12 (hinter den Platten), 2x NF-A8 hinten
• NIC: HPE 560SFP+ mit 1x 10GB SR SFP1
• Netzteil: Corsair RM750e
• OS: TrueNAS Scale 25.10

"Backup":

• CPU: Intel Xeon 4116, 2,1 - 3.0 GHz, 12C / 24T, Sockel 3647
• Kühler: Dynatron B5 Narrow
• RAM: 4x 32GB SK Hynix HMA84GR7MFR4N.UH TD AD 1614 DDR4 Reg. ECC
• Board: ASRock Rack EPC612DA8
• SSD (OS): 2x 32GB SanDisk U110 SATA auf NFHK N-582A V1.0
• Array 1: 3x 10TB HDD Seagate Exos X10 ST10000NM0086
• Array 2: 3x 10TB HDD Seagate Exos X10 ST10000NM0086
• Case: Chenbro RM41416B
• Case-Cooling: 3x Noctua NF-P12 Redux (hinter den Platten), 2x NF-R8 Redux hinten
• NIC: HPE 560SFP+ mit 1x 10Gbit SR SFP10
• Netzteil: Seasonic Focus GX-650
• OS: TrueNAS Scale 25.10

"Tester":

• CPU: Intel Xeon E3 1260L v5, 2,9 - 3,8 GHz, 4C / 8T, Sockel 1151v1
• Kühler: HP 675425-001
• RAM: 4x 8GB HYNIX HMA41GU7AFR8N-TF DDR4 Reg. ECC
• Board: HP 823793-001 mit TPM-Modul 4K1635 745821-001 812119-001
• SSD (OS): Intenso 128GB
• SSD (Storage): SanDisk SSD Plus 1TB
• Case: HP DL20 GEN9 CHASSIS
• Case-Cooling: HP DL20 GEN9 COOLING FANS
• NIC: HPE 560SFP+ mit 1x 10Gbit SR SFP1
• Netzteil: Seasonic Focus GX-650
• OS: ESXI HPE Custom 8.0 U3

Des weiteren soll im Rahmen dessen und auch wegen der Renovierung unserer Hütte einiges erfolgen. So sollen zum Beispiel meine beiden Workstations via 10Gbit LWL angebunden werden, alle anderen Clients im Haus sollen je nach Raum 1Gbit (Konsolen, Homeoffice-Büro meiner Freundin) oder 2.5Gbit (der ganze Rest) zur Verfügung haben. Alles netzwerktechnische soll über Geräte von Ubiqiti abgebildet werden. Damit alles Platz findet muss einer meiner Serverschränke getauscht werden (von 12HE auf 26HE). Ebenso ist flächendeckendes WLAN im Haus (incl. Keller) sowie ein Teil des Gartens wichtig, das wird aber das einfachste. Hier fehlt eigelicht nur noch der AP für den Wintergarten, damit wir im "wichtigen" Teil vom Garten WLAN haben. Die Netzwerkgeräte sowie die Server sollen durch USVs von Eaton gestützt werden.

Vorhanden:

• Unifi UDM Pro
• 3x Unifi U6 Pro
• Intellinet 26HE Laborgestell 714242
• Startech 15HE Laborgestell (soll Ersetz werden)

Fehlend:

• Unifi USW Pro Max 24 POE
• Unifi Aggregation
• Unifi U6 Pro
• Unifi U6 Mesh
• Intellinet 26HE Laborgestell 714242
• USV für beide Schränke, vmtl. Eaton Ellipse Pro 1200
• Jede Menge Netzwerkdosen, Verlegekabel, Patchfelder...

Stay tuned, wird gut, chaotisch und stümperhaft. Das Projekt wird über das Jahr 2026 laufen und vermutlich nur unregelmäßige Updates bekommen.

---

Update 1, 01.12.2023 - Umbaumaßnahmen #1: Server-Geschraube und neue HTPCs

Spoiler

Heute ging es los mit den ersten Umbaumaßnahmen an den Servern als solches. So wurde zum Beispiel die alte Hardware aus den Gehäusen geworfen und die neue verbaut. Passend dazu hat ein guter Kollege mir kurz nachdem ich Fertig war geschrieben, as er zwei Chenbro RM41416 zu verkaufen hat. Zu dem Zeitpunkt war der "Backup"-Server noch in einem Intertech-Gehäuse verbaut. Dazu dann noch zwei "schlimme" Nachrichten: Ein Netzteil fehlte, ebenso passt der Noctua-Kühler der für den "Backup"-Server angedacht war nicht in das Intertech-Case und somit auch nicht in das Chenbro-Gehäuse. Da das zweite (und dritte

) Chenbro-Gehäuse erst in einigen Wochen hier ankommt ist erstmal Pause mit dem Server-Umbau. Zumindest ist der neue Kühler schon da, das Netzteil sollte die Woche auch kommen.

Hier ein paar Impressionen vom Server "Worker". Vor Einbau ins Rack kommt natürlich nochmal der Kompressor zum Einsatz.

Spoiler

Ebenso begann heute der Umbau unserer beiden HTPCs auf zwei baugleiche Fujitsu Futro S740. Vorher hatte ich z.B. Sockel 1200-Hardware oder einen Dell Wyze als HTPC rumstehen, jedoch sollte jetzt im Rahmen dieser "Standartisierung" einfach mal aufgeräumt werden. Über die HTPCs wird man später auch über IMMICH die Bildergalerie auf dem "Worker"-Server durchsuchen können.

• CPU: Intel Celeron J4105
• RAM: 8GB DDR4 S0DIMM
• SSD: Samsung PM991 mit Adapter von EA-Key auf M-Key
• WLAN: TP-Link Archer T3U
• OS: Windows 11 Pro

Ich hatte jetzt mehrere Monate versucht meine HTPCs mit versch. Linux-Distris zu betreiben, aber der Versuch ist absolut nach hinten los gegangen. So war es z.B. nicht (immer) möglich über Joyn Serien anzuschauen, weil DMR-Maßnahmen nicht funktioniert haben. Da es einfach funktionieren soll sind wir hier wieder zurück auf Windows 11 Pro.

Die Temperaturen sind für die CPU nach Wechsel auf Duronaut super, jedoch ist die SSD teilweise bei um die 70°C. Forenberichte und Tests deuten jedoch darauf hin das so eine hohe Temperatur bei dieser SSD kurzfristig wohl normal ist. Da die SSDs auch nicht unter Dauerbelastung stehen mache ich mir da auch erstmal keine Sorgen.

 

[MasterD]

Moin Woozy,

schönes Projekt und schöne Hardware 🤩
Gerne würde ich in deiner Haut stecken und "nur" all die schönen Dinge mit der Technik abarbeiten

Aber den Grund warum Truenas und nicht Unraid habe ich nicht ganz verstanden.

Ahja wenn dein Konzept mit der Verwaltung der Bilder/Videos durch ist, lass es mich gerne wissen. Denn auch ich stehe gerade dabei Ordnung in meine Bilder/Video Verwaltung zu bringen.

Schöne Grüße
MasterD

 

[Woozy]

Moin Woozy,

schönes Projekt und schöne Hardware 🤩
Gerne würde ich in deiner Haut stecken und "nur" all die schönen Dinge mit der Technik abarbeiten

Aber den Grund warum Truenas und nicht Unraid habe ich nicht ganz verstanden.

Ahja wenn dein Konzept mit der Verwaltung der Bilder/Videos durch ist, lass es mich gerne wissen. Denn auch ich stehe gerade dabei Ordnung in meine Bilder/Video Verwaltung zu bringen.

Schöne Grüße
MasterD

Ich werde bescheidgeben! <3

Grund war im großen und ganzen: Unraid passt mir einfach nicht

 

[gea]

Ich würde eher 1 großes Array machen statt 2-3 kleine, z.B. ein Z2

Statt hd und ssd Pool ginge auch ein Hybrid Pool mit Special vdev, da kann man per ZFS Dateisystem entscheiden, ob man Metadaten, kleine Dateien oder alle Dateien eines Dateisystems auf ssd oder hd haben möchte. Mit zfs rewrite kann man Daten hin und herschieben.

Als Zugriff vom Smartphone ist SMB auch die erste Wahl, ebenso aus dem Internet mit VPN und Wireguard

10G ist ok, aktuell wird 25G zu einzelnen Clients günstig, damit ist NAS so schnell wie eine lokale NVMe. Das kann man allerdings ohne SMB Direct/RDMA kaum ausnutzen. SMB Direkt läuft derzeit ohnehin nur mit Windows Server richtig problemlos. 25G geht auch per DAC Kabel ohne Switch, dann den normalen ip Traffic zusätzlich per 1-10G laufen lassen.

TN ist ok als NAS + einfache Virtualisierung. Hauptnachteil ist für mich der Zwang alles per TN web-gui machen zu müssen. Konsoleaktionen sollte man da lassen da TN dann durcheinanderkommen kann. Hauptalternative wäre für mich Proxmox. Ist als Hypervisor besser, hat auch neuestes ZFS dabei und hat keine CLI Beschränkung. Für NAS Dienste einfach SAMBA oder den schnelleren ksmbd und dazu acl aktivieren.

 

[Woozy]

Ich würde eher 1 großes Array machen statt 2-3 kleine, z.B. ein Z2

Statt hd und ssd Pool ginge auch ein Hybrid Pool mit Special vdev, da kann man per ZFS Dateisystem entscheiden, ob man Metadaten, kleine Dateien oder alle Dateien eines Dateisystems auf ssd oder hd haben möchte. Mit zfs rewrite kann man Daten hin und herschieben.

Als Zugriff vom Smartphone ist SMB auch die erste Wahl, ebenso aus dem Internet mit VPN und Wireguard

10G ist ok, aktuell wird 25G günstig, damit ist NAS so schnell wie eine lokale NVMe. Das kann man allerdings ohne SMB Direct/RDMA kaum ausnutzen. SMB Direkt läuft derzeit ohnehin nur mit Windows Server richtig problemlos.

TN ist ok als NAS + einfache Virtualisierung. Hauptnachteil ist für mich der Zwang alles per TN web-gui machen zu müssen. Konsoleaktionen sollte man da lassen da TN dann durcheinanderkommen kann. Hauptalternative wäre für mich Proxmox. Ist als Hypervisor besser, hat auch neuestes ZFS dabei und hat keine CLI Beschränkung. Für NAS Dienste einfach SAMBA oder den schnelleren ksmbd und dazu acl aktivieren.

Bezüglich der Pools: Das prüfe ich gleich mal, das wäre ggf. eine Idee. Ich wollte das eigentlich so einfach wie möglich halten und vor allem auch Stellenweise "logisch" voneinander Getrennt, daher auch die verschiedenen Arrays. Bei SFP werde ich noch bei 10G bleiben weil Unifi leider (noch) nichts gescheites mit 25G im Angebot hat. Für Virtualisierung wird keiner der beiden TrueNAS-Kisten hinhalten, dafür ist der DL20 Gen9 da, auf dem läuft ESXi.

Wichtig war da halt der Umstieg von Windows weg hin zu Linux was die Server angeht. Ich möchte das aber so einfach wie möglich halten

 

[gea]

25G ist aktuell sinnvoll Server<-> Server oder Server -> einzelne Media clients per dac Kabel. Für normalen Traffic bei 1-10G bleiben. ESXi ist gut (nutze ich auch noch), bin aber schon teilweise zu Proxmox gewechselt (wg. BroadCom halt).

ps
Der OpenZFS Dateisystemtreiber unter Windows ist gerade am Werden. Windows statt Linux könnte damit wieder richtig interessant werden, vor allem wegen SMB Direkt, ACL und Auditing, SMB Groups mit Groups, AD und zero config Netzwerk Raid ( virtuelle vhdx Platten über SMB). Hyper-V ist auch nicht so schlecht. ZFS ist Storage Spaces Softwareraid weit überlegen, dieses hat aber Features die ZFS noch nicht hat (Tiering, Pools aus Platten unterschiedlicher Kapazität)

 

[v3nom]

Fehlend:

• Unifi USW Pro Max 24 POE
• Unifi Aggregation
• Unifi U6 Pro
• Unifi U6 Mesh
• Intellinet 26HE Laborgestell 714242
• USV für beide Schränke, vmtl. Eaton Ellipse Pro 1200
• Jede Menge Netzwerkdosen, Verlegekabel, Patchfelder...

Moin, ich habe auch im Haus alles ausgebaut damit wir eine ordentliche Vernetzung haben, deswegen meine 2cent dazu:
- Warum nicht direkt ein SW-Pro-HD-24-PoE? Mehr 2,5GbE und 10GbE und PoE Fähigkeiten. Damit konnte ich 3 Switche ersetzen.
- pass auf mit der Tiefe! Mein 600mm tiefer Netzwerkschrank hat schon Probleme mit dem 400mm tiefen SW-Pro-HD-24-PoE, das passt gerade so.
- U6 Pro habe ich auch auf 2 Etagen, sonst U6 IW wenn es an die Wand und nicht an die Decke kann.
- Mit deiner DM Pro kannst auch noch auf Ubiquiti Protect gehen mit ggf. Türklingel, Chime und Kameras.

Viel Spaß

 

[underclocker2k4]

Ist denn für den Use Case ein solcher Trümmer an Server notwendig?
Die Anwendung scheint mir auch auf nem anständigen Toaster lauffähig oder übersehe ich was?

Beitrag automatisch zusammengeführt: Heute um 17:21

weil Unifi leider (noch) nichts gescheites mit 25G im Angebot hat.

Ubi hat doch nen 48x SFP28 SW im Angebot?!

 

[Woozy]

Ist denn für den Use Case ein solcher Trümmer an Server notwendig?
Die Anwendung scheint mir auch auf nem anständigen Toaster lauffähig oder übersehe ich was?

Beitrag automatisch zusammengeführt: Heute um 17:21

Ubi hat doch nen 48x SFP28 SW im Angebot?!

Dem ist richtig so, da würde auch weniger gehen. Berufsbedingt habe ich da abet Laune zu Sicherlich hätten es auch zwei normale NAS getan, da war der Basteldrang grösser.

Moin, ich habe auch im Haus alles ausgebaut damit wir eine ordentliche Vernetzung haben, deswegen meine 2cent dazu:
- Warum nicht direkt ein SW-Pro-HD-24-PoE? Mehr 2,5GbE und 10GbE und PoE Fähigkeiten. Damit konnte ich 3 Switche ersetzen.
- pass auf mit der Tiefe! Mein 600mm tiefer Netzwerkschrank hat schon Probleme mit dem 400mm tiefen SW-Pro-HD-24-PoE, das passt gerade so.
- U6 Pro habe ich auch auf 2 Etagen, sonst U6 IW wenn es an die Wand und nicht an die Decke kann.
- Mit deiner DM Pro kannst auch noch auf Ubiquiti Protect gehen mit ggf. Türklingel, Chime und Kameras.

Viel Spaß

Gut das wir drüber geredet haben. Der Pro HD kostet nur geringfügig mehr und kann aber deutlich mehr. Danke für den Hinweis!

Die Intellinet-Laborgestelle lassen sich auf ca. 1 Meter Tiefe ausbauen, das klappt also wunderbar

Unifi Protect wird es noch geben, da stehen die Kameras aber noch nicht fest.

 

[underclocker2k4]

Sicherlich hätten es auch zwei normale NAS getan, da war der Basteldrang grösser.

Naja, nen NAS würde ich da nicht zwingend sehen, würde es aber auch tun.
Aber ein etwas stromsparenderes System kann ich mir da eher vorstellen.
So nen EntryServer (auch mit ECC) ist da gerade im 24/7 Betrieb sicherlich vorteilhafter.
Diese 1GB/TB RAM Regel ist halt auch nen alter Mythos, so dass man mit so einem EntrySystem auch in galaktische Kapas vorstoßen kann.

 

[Woozy]

Naja, nen NAS würde ich da nicht zwingend sehen, würde es aber auch tun.
Aber ein etwas stromsparenderes System kann ich mir da eher vorstellen.
So nen EntryServer (auch mit ECC) ist da gerade im 24/7 Betrieb sicherlich vorteilhafter.
Diese 1GB/TB RAM Regel ist halt auch nen alter Mythos, so dass man mit so einem EntrySystem auch in galaktische Kapas vorstoßen kann.

Der Stromverbrauch der Server hält sich in Grenzen, allem voran ab nächstes Jahr mit PV und Hausspeicher. Aber, ja, erstmal richtig: Ein HP Mini-Server hätte das gleiche Ergebnis erzielt.