[Kaufberatung] Synology Ersatz mit TrueNAS ?

[xrgmk2qf21]

Hallo zusammen,

ich bin neu hier im Forum, kurz zu mir, ich habe noch eine ältere 4-Bay Synology NAS, welche nicht mehr mit (Sicherheits)-Updates versorgt wird und möchte diese durch eine größere Variante mit einer TrueNAS Lösung ablösen.

Kurz zur Netzwerktopologie, ich habe aktuell einen 1GBit Switch, jedoch überlege ich schon, den TrueNAS Server mit 10GBit auszurüsten, nicht zwingend aber wäre zumindest zukunftssicherer. Als Ausblick, nach diesem Projekt werde ich noch einen dedizierten Proxmox Server für VMs erstellen, jetzt aber kommt der TrueNAS Server.

Anforderungen:
- Die Synology habe ich neben als reiner Datengrab auch als Mediastation genutzt und so aus dem Wohnzimmer Filme, Bilder angeschaut, dass sollte weiterhin mit der neuen Lösung möglich sein.
- LowPower - Wenn die Synology nicht genutzt wird, geht sie in ein Ruhe/-Standby Modus, ich glaube auch die Festplatten hören dann auf zu drehen, hierdurch wird Energie eingespart.

Was ich bereits habe ist folgendes 16 Hot Swap Case, welches nun mit Hardware bestückt werden soll:
https://www.logic-case.com/products...ve-bays-6gbs-minisas-+-2-x-525-bays-sc-4316s/

Ich werde vorerst mit 6x4TB ein RAIDZ2 Pool erstellen, aber es soll trotzdem die Möglichkeit später evtl. ein weiteren Pool anzulegen oder die freien Hot Swap Slots als Offline Backup zu nutzen, indem ich kurz eine Backup Disk reinschiebe und wieder rausnehme. Sehe die freien eher als Reserve an, ich gehe davon aus, dass ich nicht alle nutzen werde, aber die Slots wären zur Not da.



Ich habe mich auch schon länger umgeschaut und bin auf folgende Supermicro Boards mit CPU + ECC (SoC) Vergleich stehen geblieben und wollte hier um Rat fragen auch in Bezug auf Anzahl SATA Slots mit dem Case:
https://geizhals.de/?cmp=2005072&cmp=1812780&cmp=1712566&cmp=1710165&cmp=1710148

Eigentlich ist mein Favorit das Board A2SDI-H-TF als einzigste mit 10GBit LAN, jedoch "nur" 12x SATA kenne ich mich überhaupt nicht mit den SFF Anschlüssen aus ob diese passen würden zu dem Case:
- 4x SATA 6Gb/s (SoC), 8x SATA 6Gb/s (via SFF-8643/U.2/Mini-SAS, SoC)
Das Board hat 1x PCI Slot 3.0 x4

Alternativ mit den meisten SATA Ports wären dann noch das Board A2SDi-8C-HLN4F jedoch ohne 10GBit LAN
- 4x SATA 6Gb/s (SoC), 8x SATA 6Gb/s (via SFF-8643/U.2/Mini-SAS, SoC)

Eigentlich stehe ich nur an der passenden Entscheidung/Auswahl und ob das Board mit dem Case und den 4x SFF-8087 Anschlüssen passt und was bräuchte ich evtl. noch an Kabel?
Die genannte Produkte wären die bevorzugten, welche sollte ich nehmen für die Anforderungen oder gibt es noch weitere die hier fehlen?

 

[v3nom]

Grundsätzlich sind die Atom Boards solide, aber nicht sonderlich schnell und auch nicht ultimativ sparsam. Hier ist der Verbrauch im Leerlauf leider etwas "hoch" als bei Desktop CPUs die wild herumtakten können.
Auch sind die CPUs nicht super schnell, um bei SMB Freigaben 10GbE zu schaffen. Mehr als 1GbE definitv, aber auch keine 10GbE (wäre bei 6 Platten eh unwahrscheinlich und ZFS ist eh nicht ein Sprinter).
Die SFF Anschlüsse auf den Supermicro Boards sind perfekt für solche Gehäuse und deren Backplane. Man muss nur entsprechende Kabel nachkaufen (nicht billig) und falls man von SATA auf einen SFF an der Backplane will braucht man ein entsprechendes "Reverse" Kabel, da es diese in 2 Richtungen gibt und auch nur in diese funktionieren.
Vorteile der Boards:
- super stabil
- ECC RAM auch Registered für viel RAM
- teilweise 4xGbE oder 10GbE
- CPUs werden nicht heiss

Wenn du alle 16 HDD Slots nutzen willst brauchst du noch eine Karte dafür, am besten eine HBA im IT Mode mit 2x SFF für 8x SATA.

12 HDD Slots reichen nicht? Das ginge dann auch mit 2HE.

Ich kann gerne Fragen zu den SuperMicro Boards beantworten.
Ich hatte ein:
- Supermicro A2SDI-H-TP4F
- Supermicro X11SDV-8C-TP8F

 

[xrgmk2qf21]

Hi V3nom, vielen Dank für deine Rückmeldung.

Eigentlich bin ich bei der Auswahl der Hardware noch offen, mir wäre jedoch RAM mit ECC wichtig, eine CPU mit 4-8 Kernen ca. sowie einen Low-Power NAS, meine 4-Bay Synology zieht aktuell 17W (Leerlauf) - 40W (Last), deshalb auch ein 4U Case damit ein effizientes Standard ATX mit 80+ Titanium Netzteil reinpasst, die Server PSU sind mit kleinen Lüftern lauter.

Wenn das Board A2SDI-H-TF aus dem Jahr 2017 oben von der Leistung für 10GbE nicht ausreichen sollte, wäre ich nicht abgeneigt auch nur die 1GbE zu nehmen, dann wartet man halt länger beim Kopieren, wäre nur zukunftssicherer, dass wäre dann die Alternative das Board A2SDi-8C-HLN4F auch aus dem Jahr 2017 mit 4x1GbE mit 4 Cores, evtl. kann man die 4x1GbE zusammenfassen / LinkAggregation?

https://geizhals.de/supermicro-a2sdi-8c-hln4f-retail-mbd-a2sdi-8c-hln4f-o-a1710148.html


Finde diese Boards mit integrierter CPUs (Soc) ziemlich verlockend, dein genanntes Board A2SDI-H-TP4F aus deiner Signatur mit 16Cores und einem Preis von rund 1000€ wäre mir zu teuer.
Also wie es aktuell aussieht ist das Board A2SDi-8C-HLN4F der mögliche Gewinner, es gäbe noch die Möglichkeit ein passendes Board mit einem i3 Core CPU aber diese haben glaub kein ECC, gibt auch XEON L (Low) CPUs, nicht so easy, gucke schon länger...

 

[Beinfreiheit]

Vielleicht als minimalen Dämpfer, die Effizienz von einem normalen NAS von einem Beliebigen Hersteller nachzustellen wird schwer. Der Ansatz 12-16 Platten zu Verwenden ist dazu noch ein gewaltiger Stromaufwand.
Rechenbar ist jede Platte mit etwa 35W beim Start und 5W im Betrieb zu rechnen ist. Große Pools bedeuten auch, dass alle Platten in dem Pool laufen müssen. Dazu sollten dann diverse Features im TrueNAS abgestellt werden, die Datenoperationen für Pflege ausführen.

Abseits davon würde ich empfehlen. die internen Ports bei einer derartigen Anzahl an Platten liegen zu lassen und einen Controller dafür anzuschaffen. Bspw. gib es die älteren 16-Port-Karten wie die Adaptec 71605 für < 200€. Dadurch wäre die Board-Auswahl bedeuten größer und die Festplatten können direkt durchgereicht werden, ohne Raid dazwischen.
Als weitere Empfehlung für geringere Leistung, ECC und viele Festplaten sind integrierte CPUs, aber hier nicht die Atoms, sondern EPIC3000 oder Xeon D. Die Bords mit einem 4-Kerner und 10G sind für etwa 500€ neu zu haben (ASRock EPYC3101D4I-2T und diverse andere Hersteller/Boards). Fast alle "LGAxx" Prozessoren verbrauchen mehr Strom im Betrieb. Jeder Ram-Riegel braucht etwa 2-3W, also bestenfals mit großen Modulen arbeiten.

Aber ich würde von Preis/Leistung/Stromverbrauch nochmal in Frage stellen, ob nicht ein Synology DS1821+ (10G möglich) oder einem QNAP TS-h973AX, welches zumindest auch ZFS unterstützt und 10G an Board hat, besser geeignet sind. Beide Systeme unterstützen ECC-Ram. Dazu dann entweder größere Platten, oder dem alten 4-Bay Synology als Backup-System im Keller.

Aber ich kann natürlich den Spaß am Erstellen eines eigenen Systems absolut nachvollziehen

 

[v3nom]

i3 und ECC schließt sich nicht aus, aber dann wird eine HBA notwendig um soviele SATA Anschlüsse zu haben.
https://www.hardwareluxx.de/communi...ysteme-30w-idle.1007101/page-68#post-28446459

Das 16-Kern Atom Board wäre bei mir zeitnah abzugeben

 

[xrgmk2qf21]

@Beinfreiheit: Im Thema Controller Karten habe ich noch keine Erfahrung, deine angesprochene Adaptec 71605 finde ich bei Ebay bereits für 87€, wäre das so eine?
https://www.ebay.de/itm/224467150404?hash=item344348e644:g:HokAAOSwwyhhUtTR

Laut Beschreibung müsste ein Slot PCIe x8 vorhanden sein auf einem Board, meine Frage allgemein, was für ein Vorteil / Nachteil wäre mit so eine extra Karte, ist diese "schneller" als die Onboard Ports ?

Ja Thema Stromverbrauch sollten besser weniger HDDs verbaut werden, werde ein Kompromis eingehen müssen, und nur große RAM Module, geplant hatte ich mit 2x16GB RAM

Bzgl. Kabel, der Hersteller vom meinem Case hat folgendes geschrieben:
"The chassis doesn’t come with any cables. The backplane has 4x SFF-8087 (6Gbps MiniSAS) connectors, so you would need suitable cables for connecting to the controller or motherboard etc."



@v3nom: Dein Board hatte ich mir schon damals als Proxmox Lösung vorgemerkt, reicht die Leistung mit 16Cores für eine handvoll VMs (Linux, Windows) aus?

 

[v3nom]

Mit HDDs sollte es keine Performance Probleme oder Engpässe geben bei solchen Karten. Mit SSDs evtl...
Die Adaptec 71605 für 87€ hab ich auch im Blick, wahrscheinlich hole ich mir diese zeitnah auch.

SFF-8087 Kabel sind standard und gibt es massig. Ggf hätte ich da auch welche abzugeben. Es gibt 8087 auf andere SFF Stecker oder auf SATA als Peitsche.

Für mehrere VMs sollte es dann mehr als 32GB RAM sein, oder?
Klar reicht die CPU für VMs. Dank der vielen Kerne kann man diese auch gut aufteilen. Windows ist halt etwas "träge" aber läuft ohne Probleme. Ich hatte eine Windows VM mit VPN am laufen, da war schon offensichtlich das die CPU die Geschwindigkeit im VPN bremst. Größere Archive entpacken dauert auch, aber wenn man es eh im Hintergrund laufen lässt...
Was planst du denn mit den VMs?

 

[xrgmk2qf21]

@v3nom: Genau es müssen mehr als 32GB für Proxmox rein, habe so an 64GB gedacht, es soll als HomeLab Server dienen
Geplant habe ich erstmal grob, je nach Thema will ich diverse VMs erstellen, einmal Thematisch wie SoftwareEntwicklung (GitLab CI/CD, Datenbanken, Webserver,) dann eine VM für Infrastrukur/Security Themen Proxy/Filter/PiHole, steht noch nicht fest was genau, dann eine Reporting VM mit Grafana+Prometheus,Nagios, dann Windoof auf einer VM für Sachen die man unter Linux nicht machen kann
Ich muss mir strukturiert noch die Themen zusammenfassen, vieles kann auch die pfSense schon jetzt wie NTP, DNS das muss dann nicht in die VM Infrastruktur etc, wollte solche thematisch getrennte VMs erstellen, evtl. habt ihr noch Ideen

 

[Beinfreiheit]

@xrgmk2qf21 bei den VMs scheints ja schon zur Sache zu gehen. Gitlab unterstütz nur PostgreSQL, die Remporting-Varianten unter Anderem auch.

• Pihole braucht nichts, kann mit 512MB Ram im Heimbereich schon fast nichts anfangen
• Die Reporting-VM (ohne Datenbank) sollte für eine begrenzte Zahl an Endgeräten sollte mit 1GB gut bedient sein.
• Gitlab ist je nach Anforderung schon was anderes, läuft aber auf einer 2Core/2-4GB VM ganz hervorragend. Für CI/CD benötigst du Runner, wo wir aber bei einem sehr spezifischen und komplexen Thema sind. Empfehlenswert sind für Runner ~1,5GB Ram pro Core aber mindestens 4GB. Um etwas an Resource zu schonen, würde ich den/die Runner als Container einrichten. Diese können von extern gestartet und beendet werden, sodass die Container nur laufen, wenn diese auch benötigt werden. Wenn unterschiedliche Runner für Build/Test/... zum Einsatz kommen, sollte geprüft werden, was die einzelnen Einsatzzwecke wirklich an Resource benötigen und dann entsprechend erweitert werden.
• Webserver sollten analysiert werden, die meisten Web-Server für eine Seite laufen relativ gut mit 1Core/1GB Ram, können aber als VM auch sehr einfach erweitert werden. Datenbanken auf einer eigenen VM bereithalten.
• Datenbanken muss analysiert werden. Hier sollten nach Möglichkeit die Mindestanforderungen beachtet werden. Mit genauerem Monitoring können die VMs dann entsprechend erweitert werden.

Für die Datenbanken würde ich auch einige SSDs im >= Raid1 empfehlen, da ansonsten die Pools auf dem Storage-Server immer laufen müssen und SSDs teilweise mit sehr wenig Strom auskommen.
Also es kann erstmal mit 32GB Ram gut gehen, ansonsten wird normalerweise als Fausregel für VM-Server 2-4GB Ram pro Core angesetzt.

SAS/SATA-Controller haben immer diverse Ansätze, was alles zu tun ist und die Einrichtung bei einem erweiterten System kann doch einiges an Aufwand/Wissen benötigen. Der Hauptvorteil liegt für ein geplantes ZFS-System aber vor allem in der Bereitstellung der Platten, ohne auf den Chipsatz zurück zu greifen. Meist sind die Treiber sehr viel ausgereifter, was etwas Sehlenruhe geben kann Weiter können die Karten so eingestellt werden, dass beim PowerOn nicht direkt alle HDDs gleichzeitig hochdrehen, sondern in Sequenz. Damit werden abstrakte Stromspitzen (SpinUp vom Motor) auf kleineren Rails für Netzteile verhindert.

 

[xrgmk2qf21]

Guten Morgen,

ich habe noch eine Frage, das Schaubild zeigt wie es sein wird, jetzt meine Frage, gibt es aufgrund der vielen LAN Ports auf den Mainboard auch die Möglichkeit bei z.B. 4x 1GbE diese als Bonding zusammenzuführen, wird man damit schneller, weil ich mal gelesen habe, Bondig kann man sich wie eine Autobahn mit mehreren Lanes vorstellen, man ist nicht schneller nur der Durchsatz ist mehr, richtig? Wann ist die sinnvoll?



Ist es auch möglich mit direkter Verbindung von Proxmox zum TrueNAS (ohne Switch)?

 

[Beinfreiheit]

Bonding ermöglicht es, mehrere Streams über unterschiedliche Leitungen laufen zu lassen. Besonders für den parallelen Zugriff von mehreren Clients/VMs geeignet.
Damit die Geschwindigkeit für alle Bereiche gesteigert werden kann, würde ich genau diese Verbindungen über einen Switch laufen zu lassen, welcher LACP unterstützt. Ein günstiger Einstieg mit ~50€ könnte ein Netgear GS308T sein.

 

[underclocker2k4]

Besonders für den parallelen Zugriff von mehreren Clients/VMs geeignet.

Dank Multichannel SMB ist das auch beim Zugriff von einem Client auf dem Server der Fall. Dazu muss das dann an beiden Geräte vorhanden sein.
So kann man quasi ein 4GBE Netzwerk aufbauen ohne direkt auch 10GBE Infrastruktur zu gehen. (aber eben nur für SMB)

 

[Beinfreiheit]

Ja, aber SMB Multichannel muss aktiviert und unterstützt werden und die Nebeneffekte von SMB bleiben Bestehen. ISCSI und NFS haben auch ihre Berechtigung und sind gerade beim erstellen von VMs häufig Standard. Aber für reine SMB Netzwerke würde ein Multichannel reichen.

 

[underclocker2k4]

@Beinfreiheit
Die Anforderungen lesen sich für mich eher als SMB Share und weniger NFS oder iSCSI.
Ist halt ne Frage wie man die VMs aufbaut insbesondere auch bei ausgelagerten VMs.

Eigentlich ist mein Favorit das Board A2SDI-H-TF als einzigste mit 10GBit LAN, j

Das ist so nicht wahr.
Die Auswahl ist deutlich größer:

Mainboards mit CPU mit CPU-Hersteller: Intel, LAN: 10GBase SFP+ Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Mainboards mit CPU mit CPU-Hersteller: Intel, LAN: 10GBase SFP+

geizhals.de

Mainboards mit CPU mit CPU-Hersteller: Intel, LAN: 10GBase-T Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Mainboards mit CPU mit CPU-Hersteller: Intel, LAN: 10GBase-T

geizhals.de

Ob das dann das richtige ist, ist ne andere Frage.
Ggf. auch nen Storage-Sys oder ZFS NAS und ne separate, ggf. nonECC, VM-Kiste.
Da gibt es 100 Spielmöglichkeiten.
Warum eigentlich ITX, wenn man nen Tanzsaal als Case kauft?

 

[xrgmk2qf21]

Der TrueNAS Server läuft 24/7, und die ITX Boards scheinen meist um ~16-35W mit CPU zu verbrauchen, es Boards mit ECC Support sind, die ich für ZFS im Fokus habe, glaube die großen ATX (Consumer) Boards mit separater CPU ziehen evtl. mehr, aber da lass ich mich eines besseren belehren.

Ich bin zum Entschluss gekommen, ich habe im Haus noch keine 10GbE Switche und Endgeräte, aber ein Server lebt meist länger als die Clients, somit werde ich doch wohl die 10GbE nehmen/vorziehen aufgrund "zukunftssicher", jedoch nicht der schnellste mit ATOM C3758, meine letzten Favoriten im Vergleich zwischen diesen und einem mit AMD Epyc CPU:

https://geizhals.de/?cmp=2005072&cmp=1712566

Supermicro M11SDV-8CT-LN4F retail (MBD-M11SDV-8CT-LN4F-O)
PRO: Bessere CPU
PRO: PCIe 3.0 x16
CONTRA: Kein 10GbE "nur" 4xGbE

Supermicro A2SDI-H-TF retail (MBD-A2SDI-H-TF-O) ->
PRO: 2x10 GbE
CONTRA: Schwächere CPU
CONTRA: PCIe 3.0 x4

Man sieht das beim Board mit 10GbE kein PCIe x8 vorhanden ist, falls ich eine Storage Controller einbauen würde wie die oben genannte:
https://www.ebay.de/itm/224467150404?hash=item344348e644:g:HokAAOSwwyhhUtTR

Zu Anfang hätte ich mir ein ZFS Pool mit RAIDZ2 und 6 Disks angelegt, als Cold Spare packe ich schon eine 7 Disk hinein, falls eine Disk abbrauchen sollte, kann dann TrueNAS automatisch diese einbinden?
Vom den 16 Disks HotSwap Schächten wären 7 Slots belegt. In Zukunft kann ich das Case mit weiteren evtl. SSD Platten erweitern, aber nicht in das bestehen Pool, sondern ein neues SSD Pool ?
Wenn ich die restlichen nutzen würde, müsste ich dann eine separate Controller Karte (IT Mode) anschaffen, jedoch mit dem PCIe x8 könnte dann es wieder zu Problemen kommen.

Fazit: Welches Board würdet ihr mir empfehlen / würdet ihr nehmen?

 

[underclocker2k4]

Der TrueNAS Server läuft 24/7, und die ITX Boards scheinen meist um ~16-35W mit CPU zu verbrauchen, es Boards mit ECC Support sind, die ich für ZFS im Fokus habe, glaube die großen ATX (Consumer) Boards mit separater CPU ziehen evtl. mehr, aber da lass ich mich eines besseren belehren.

Wo wir dann wieder beim Unterschied zwischen scheinen und Realität sind.

Wir reden hier vom Unterschied zwischen ITX und Flex-ATX und auch die restlichen Komponenten sind auf den Boards gleich.
Von daher nehmen sich die ITX Boards nicht zu den Flex-ATX nichts.

Viel wichtiger ist der Unterschied zwischen Broadwell und Skylake CPUs. Dort liegen mal eben ~20W und mehr im IDLE zwischen.

Der Vorteil dieser MBs ist, dass dort teilweise bereits LSI Controller mit 16 Ports onboard dabei sind. (was auch wieder Strom kostet, X10-SDVs haben noch die 2000er Serie)
Der Vorteil von denen ist die hohe Treiberunterstützung.

So ein Flex-ATX Board hat also den Vorteil, dass zum einen bereits alles dabei ist, was man braucht, vor allem hat man dann noch 2 >=x8 Slots für Erweiterungen frei bzw. auch noch nen M.2 Slots fürs OS. Mitunter hat man, beim richtigen Board, zudem auch noch NICs ohne Ende für alle möglichen Faxen, bzw. ne FW VM.