Welche sparsame Hardware für Truenas Scale System mit ECC, 10Gbit/s, 6 SATA, PCIe x16 Kein Docker oder VMs

[ionfan]

Hallo Zusammen,
ich möchte meinen ALL-IN-ONE-Server (Proxmox) in 3 Stromsparende Systeme aufteilen. D.h. 2 Proxmox-Systeme im Cluster als Worker für VMs und Docker-VMs und ein Truenas Scale NAS-System wo die persistenten Daten lagern sollen.
Hier soll es nur um das NAS-System gehen.
Ich benötige eine MoBo/CPU Kombi die folgende Features unterstützt:
- ECC Support (da ZFS verwendet wird)
- 6 SATA Ports
- 1* PCIe x16 mit Unterstützung für Bifurcation x4/x4/x4/x4 (für Asus Hyper M.2 X16 Card PCIe 3.0)
- Möglichkeit für 2*10Gbit/s, entweder integriert oder über eine expansion Card
- Performance des Systems sollte es hergeben die 10 Gbit/s auch auszulasten über SMB
- Auf dem System sollen keine virtuellen Maschinen oder Docker Container laufen. Das System soll wirklich nur Daten per SMB, NFS und evtl. iSCSI bereitstellen und evtl. Snapshotten mit remote Upload
- Ich würde gerne ein möglichst sparsames System zusammenbauen so wie auch in vielen anderen Threads hier, nur das ich keine anderen Dienste außer NAS-Dienste laufen lassen möchte
- Den AMD Weg (mit den Ryzen Pro CPUs) denke ich brauche ich hier nicht gehen, da ich nicht so viel CPU-Power benötige und es ältere Intel Systeme da bestimmt günstiger zu kaufen gibt. -> Ich weiß nur nicht wie viel CPU-Power man benötigt um ein ZFS-NAS mit 10Gbit/s zu betreiben
- IPMI oder ähnliches benötige ich nicht, da ich dafür PiKVM verwenden möchte

Ich freue mich über eure Vorschläge. Und vielen Dank schonmal für eure Hilfe!

 

[wddn]

Schau dir mal den Server in meiner Signatur an… 😁

Intel Alternative: C246 mit i3 8100/9100

 

[gea]

Ohne speziellere Tuning Maßnahmen erreicht man mit 10G Nics meist so um die 500MB/s. Das schafft eine kleinere CPU wie ein aktueller i3 oder eine kleinere AMD CPU. Mit Plattenpools sollte man mindestens 16GB RAM für das NAS haben. Linux ZFS Systeme brauchen etwas mehr RAM als Solaris ZFS Systeme.

Mit etwas Tuning kommt man auf > 800 MB/s, dafür ist meist eine etwas stärkere CPU nötig

Sync write wird bei einem reinen SMB Filer nicht benötigt. Will man es doch, sind 10G sportlich (nur was für die besten NVMe).

Will man 10G mit ZFS Verschlüssellung, benötigt man eine deutlich stärkere CPU.

Bei den Boards würde ich mich bei SuperMicro oder Asrock umschauen. Da ist aber meist IPMI in den Serverboards drin. Günstiger gehts mit etwas älteren Boards oder Desktop Boards Asrock unterstützt ECC meist auch mit günstigen AMD Boards, teils nur mit AMD Pro.

 

[ionfan]

Schau dir mal den Server in meiner Signatur an… 😁

Intel Alternative: C246 mit i3 8100/9100

Was für Verbräuche hast du denn mit der CPU/Board Kombi? Und hat man mit dem 2700X auch ECC Support?
Ich habe das Board zur Zeit auch in Verwendung mit einem Ryzen 3600 und der ist alles andere als sparsam...
Die C246 Boards sehen alle gut aus, aber die sind neu gar nicht und gebraucht kaum zu bekommen...

Beitrag automatisch zusammengeführt: 06.09.2023

Ohne speziellere Tuning Maßnahmen erreicht man mit 10G Nics meist so um die 500MB/s. Das schafft eine kleinere CPU wie ein aktueller i3 oder eine kleinere AMD CPU. Mit Plattenpools sollte man mindestens 16GB RAM für das NAS haben. Linux ZFS Systeme brauchen etwas mehr RAM als Solaris ZFS Systeme.

Mit etwas Tuning kommt man auf > 800 MB/s, dafür ist meist eine etwas stärkere CPU nötig

Sync write wird bei einem reinen SMB Filer nicht benötigt. Will man es doch, sind 10G sportlich (nur was für die besten NVMe).

Will man 10G mit ZFS Verschlüssellung, benötigt man eine deutlich stärkere CPU.

Bei den Boards würde ich mich bei SuperMicro oder Asrock umschauen. Da ist aber meist IPMI in den Serverboards drin. Günstiger gehts mit etwas älteren Boards oder Desktop Boards Asrock unterstützt ECC meist auch mit günstigen AMD Boards, teils nur mit AMD Pro.

Die Geschwindigkeit würde mir ausreichen. Mache das eher wegen der Latenz als wegen der Bandbreite. RAM wollte ich sowieso 32GB einbauen.
Sync Writes benötige ich auch nicht, werde mir wohl noch ne USV zulegen.
Verschlüsselung ist allerdings ein Thema: Ich sichere die Snapshots verschlüsselt auf eine direkt angeschlossene Platte, um diesen Pool dann via ZFSend an meinen Remote Pool zu schicken.
Ich dachte aber das die Verschlüsselung AES256 ist, was ja eigentlich bei allen CPUs von denen wir reden eh in Hardware gemacht wird und somit nicht die CPU belastet oder nicht?
In die AMD Schiene wollte ich jetzt erstmal nicht abbiegen, da dort sparsam glaube ich nur die Pro APUs gehen und das ist mir zu teuer. Ich dachte man kann sich günstig nen älteres Intel System zusammenklauben welches trotzdem ausreichend Leistung für ZFS mit 10Gbit/s hat und sparsam im Verbrauch ist.
Problem ist dort halt auch immer die Verfügbarkeit.

 

[gea]

Die Geschwindigkeit würde mir ausreichen. Mache das eher wegen der Latenz als wegen der Bandbreite. RAM wollte ich sowieso 32GB einbauen.
Sync Writes benötige ich auch nicht, werde mir wohl noch ne USV zulegen.

ZFS braucht keine USV um einen Absturz bei Schreiben mit nahezu 100% Sicherheit unbeschädigt zu überstehen. Die Datei die gerade geschrieben wird könnte man mit sync retten wenn sie bereits vollständig im RAM Writecache ist. Ist das nicht der Fall ist die eh kaputt wenn nicht der Arbeitsplatz und alle Netzkomponenten auch eine USV haben.

Verschlüsselung ist allerdings ein Thema: Ich sichere die Snapshots verschlüsselt auf eine direkt angeschlossene Platte, um diesen Pool dann via ZFSend an meinen Remote Pool zu schicken.
Ich dachte aber das die Verschlüsselung AES256 ist, was ja eigentlich bei allen CPUs von denen wir reden eh in Hardware gemacht wird und somit nicht die CPU belastet oder nicht?

ZFS Verschlüssellung nutzt die CPU ist aber da auf Ebene einzelner ZFS Dateisysteme angesiedelt, langsamer als eine Verschlüssellung des Datenstroms zur Platte,

vgl Xeon vs Epyc in meiner Testreihe

https://www.napp-it.org/doc/downloads/epyc_performance.pdf

 

[wddn]

Was für Verbräuche hast du denn mit der CPU/Board Kombi? Und hat man mit dem 2700X auch ECC Support?

Der ganze Server hat 60W idle (CPU TDP auf 45W limitiert, HDD Spindown)
Der 2700X hat ECC Support, genauso wie alle anderen non APU (mit Ausnahme Pro).
Mit IPMI bekomme ich ja trotzdem ein Bild zum Troubleshooting…
Einziger Nachteil: Video Transcoding

Die einzige „günstige“ und sparsame Intel ECC Lösung ist m.E. C246 (wenn Transcoding irrelevant: C242) mit i3 (max 4C/4T) - Xeon zu teuer
Aber C246 Mainboards sind leider gefragt

In die AMD Schiene wollte ich jetzt erstmal nicht abbiegen, da dort sparsam glaube ich nur die Pro APUs gehen und das ist mir zu teuer. Ich dachte man kann sich günstig nen älteres Intel System zusammenklauben welches trotzdem ausreichend Leistung für ZFS mit 10Gbit/s hat und sparsam im Verbrauch ist.
Problem ist dort halt auch immer die Verfügbarkeit.

A520 / B550 (Asus, oder Asrock ohne IPMI) mit 4650G und ECC RAM ist aktuell die beste Option hinsichtlich Stromverbrauch, Leistung und Kosten

P.S. ich suche aktuell auch sowas als Hypervisor Upgrade - die Tiny 1L PCs sind eine gute Alternative, aber kein ECC