ZFS Setup - Restfragen

[Korni22]

Hallo Leute

Ich habe vor, mir zur Weihnachtszeit dieses Setup zuzulegen:

Geizhals Wunschliste

Laufen soll (mein Favorit) ein Archlinux mit ZFS on Linux, alternativ auf Grund des nativen ZFS Supports ein *BSD (kein FreeNAS!).

Bereitstellen soll der Server die Daten via NFS, eventuell später SMB.

Ebenso laufen sollen:

- rtorrent (mit ruTorrent als WebIF)
- Webserver
- maraschino
- MySQL-Server (zum synchronisieren der XBMC-Spielstände)
- DLNA Server (für "dumme" Geräte im LAN)

Die Fragen die ich habe sind:

- ist *BSD "sinnvoller" als ein Linux mit ZFS on Linux?
- ist die Hardware in Ordnung?
- Tipps, wie ich den Stromverbrauch niedrig halte? (Stichwort Platten abschalten, eigentlich verkürzt das ja die Lebenszeit...)
- ECC RAM - ja oder nein? (ist quasi geklärt, siehe Hardware)

Das sollte es gewesen sein, wenn nicht, trage ich noch Fragen nach ;D

Ich hoffe, ihr könnt mir noch die eine oder andere Frage beantworten

 

[hominidae]

...also mMn ist ein System mit ZFS aber ohne ECC-RAM nicht konsequent umgesetzt.
Dein Wunschsetup kann aber kein ECC...weder CPU noch Motherboard.
Bei Intel muss es ein Server-Chipsatz sein und ein nicht-i5/i7.
Bei AMD geht ein ASUS AM3+ Sockel Board mit einer passenden CPU bis zum Opteron 33xx.

 

[Korni22]

@hominidae

Danke für deine Antwort!

Laut Intel selbst kann die CPU durchaus ECC, das Board/Chipsatz natürlich nicht, dass ist korrekt.
Ich schau mich mal um, ob ich ein Mini-ITX oder wenigstens µATX Board mit Sockel 1150 und ECC-Support finde

(EDIT: Ich sehe schon, bei Geizhals.de findet sich genau ein Board in Mini-ITX mit Xeon-Chipsatz, hat natürlich nur 4 SATA-Ports ._. Dann muss ich halt auf µATX, hilft ja alles nix )
(EDIT2: Hab die Wunschliste aktualisiert, beinhaltet jetzt ECC-RAM und ein geeignetes Board)

Wie stehst du zu BSD/Linux?

 

[hominidae]

...oh...ja, ein i3 kann latuernich ECC ...habe ich mich verguckt, dachte es war ein i5....hatte meine Brille nicht auf.

Ich kenne den IPMI Zugang des ASUS nicht, was der "kann", zB remote ISO einbinden, kvm-over-ip usw und ob das ohne lokale Treiber auf dem remote-PC geht.
Die Supermicro boards mit "-F" können das alles und Du brauchst nur einen Browser mit JAVA....sehr praktisch..

bzgl. Stromsparen ist das beste immer noch, den nicht 24/7 laufen zu lassen....ich lege meine immer schlafen und wecke dann mit WOL bei bedarf
Dabei beachten, das manche Server-Boards kein S3 (Suspend-to-Ram) können.

BSD/Linux...ich bin Linux Fan, auch wenn das einbinden von ZFS da etwas komplizierter ist.

Edit: achso, wg. IPMI und kvm-over-ip...das geht nur mit der onboard graka...die IGP im i3 wird abgeschaltet...kannst Du für nix nutzen....oder nutzen, dann aber verliest Du i.d.R. kvm-over-ip
Edit2: Du hast Dir ein bestimmtes Gehäuse usw. ausgesucht...aber mal über den HP ML310e nachgedacht http://www.hardwareluxx.de/community/f101/hp-proliant-ml310e-gen8-965944.html ...nur noch was RAM rein und fertig.

 

[Korni22]

Eigentlich brauche ich das garnicht, das Ding wird wahrscheinlich direkt neben mir stehen, falls nicht, wird das Gerät ohnehin via SSH bedient

Gibts denn ne Möglichkeit, dass das Gerät (möglichst) automatisch wach wird, wenn ich an eine Freigabe will?

Prinzipiell mache ich mir um ZFS auf Linux keine Sorge, weil ZFS on Linux ja als "stable" markiert ist, lediglich noch nicht performance optimiert ist
Bleibt die Frage, ob ich mit dem Setup in der Lage mit, mittels NFS in beide Richtungen 100 MB/sec erreiche...

Du meist, das Board schaltet die ab?

Danke für den Vorschlag mit dem ML310e aber ich bin doch auf der Jagd nach etwas kompaktem und vorallem um den Basteltrieb zu stillen nach einer Eigenbau-Lösung

 

[hominidae]

...also ZFS wird wg. der Lizenz nie direkt in einem Linux-Kernel sein...bei jedem Kernel-Update muss Dein System also
das Modul neu bauen...dabei muss das externe Repository verfügbar sein und der Code mit der Einbindung in die Distri mit
DKMS (bei Debian und CentOS gibts da kleine Unterschiede) muss funktionieren...das ist erstmal ein Risiko, das ein Update schieflaufen kann.

Bei einem Server-Board mit onboard Graka für IPMI (kvm-over-ip) geht das nur mit dieser.
Ein IGP ist dann unnötig und wird abgeschaltet....wird eine CPU zB XEON ohne IGP eingesetzt brauchst Du halt keine reinstecken zum installieren.
Wenn Du es nicht brauchst, kannst Du ja ein Board ohne das Feature nehmen (bei Supermicro sind es die Modelle ohne "-F")...dann läuft auch der IGP....und ein paar Watt sparst Du auch noch.
Ich mag es...insbesondere das remote-einbinden von ISOs...ich brauche kein optisches Laufwerk mehr in meinen Servern.
Edit3: also kvm-over-ip geht nur mit dieser onbaord graka als primary...eine andere, zB der IGP als primary hat die "Verkabelung" nicht und das feature fällt dann weg. Man kann mMn die IGP aber dann als primary nutzen...die onboard geht dann aber als secondary nicht und ist nur Ballast.

Automagisch aufwecken bei Bedarf ist etwas Bastelarbeit...da gibt es einige Möglichkeiten

- in den Client PC beim hochfahren den WOL zum Server in den autostart einbauen
- in einen DHCP Server ein Script einhängen, dass den WOL Befehl absetzt wenn ein (bestimmter) Client-PC eine IP anfragt/bekommt
- statt WOL das WOA (wake-on-arp) benutzen...das ist das kniffligste
weil muss auch von der Ethernet des Servers unterstüzt werden und man braucht einen managed Switch als Hilfe.
Edit: bei WOA weckst Du dann den Server beim "normalen" Zugriff automagisch, zB wenn Du auf das Netzlaufwerk verbindest.

...ich mache zZt WOL "manuell"...habe über Freetz ein Web-UI in meiner Fritzbox drin.
Unter Linux ist das Auto-Suspend auch nicht sooo einfach wie unter Windoof.
Edit2: unter BSD geht das auto-suspend mMn in aktuellen Distris *garnicht*

 

[Korni22]

Soweit ich das Wiki (von Arch) verstanden habe, muss ich den Kernel nur neu bauen, sollte ich ein ZFS als Root-Partition wollen...

Gut, wie gesagt, IPMI ist für mich nicht wichtig, ich brauche einmal ne GUI um auf der Installdisk (sollte es Arch werden) SSH zu starten ;D

Ich denke, daran wird es nicht scheitern

Danke dir für die ganzen Tipps!

Die Frage nach dem OS bleibt, ich will halt schon die vollen 1000Mbit/sec beim schreiben und fürchte, das ZoL hier nicht 100% geeignet ist...

Bei FreeNAS ist mein Problem nur das hässliche WebIF und das fehlende rTorrent, aber vllt klappt das ja irgendwann/irgendwie...

 

[hominidae]

Also mMn ist ZoL am performantesten von Allen.

Mal *mein* eigenes Performance Beispiel dazu:

Das NAS ist ein ASUS AM3+ mit Opteron 3350HE und 8GB ECC, Debian+ZoL *inclusive* LUKS/dmcrypt, also Vollverschlüsselung.

Ein Raid-z3 mit 9 Disks...dadrauf ein 3TB ZVOL...das ZVOL wird über LIO als iSCSI Target bereitgestellt.
Dieses iSCSI Laufwerk nutze ich von meinem Win7 TV-Recorder (das ist *nur* ein Celeron-847) um für snapraid die Parity-.Disk des Recording-Pools bereitzustellen.

Ich habe keine Probleme die GBit Verbindung auszulasten...80-130MB/sec werden von snapraid und Win Ressource-Monitor reportet und das sind Werte zum schreiben vom TV-Recorder auf das NAS.
Mein "altes" NAS war ein Oracle Solaris auf einem Supermicro Server Board mit XEON Quad und 32GB ECC und da habe ich zu diesem "neuen" ZoL NAS mit rsync "nur" 90MB/sec gehabt.

...ich finde das ist OK....das ZoL NAS schwitzt dabei kaum, trotz Vollverschlüsselung, dank AES-NI....das "alte", mit XEON ohne AES-NI kam da nie über 30-40MB/sec schreiben/lesen.

- - - Updated - - -

Soweit ich das Wiki (von Arch) verstanden habe, muss ich den Kernel nur neu bauen, sollte ich ein ZFS als Root-Partition wollen...

...also ZoL ist mehrere Kernel Module...die müssen zum Kernbel matchen und werden automagisch mit DKMS gebaut, wenn der Kernel in der Distri ein update bekommt.
Edit: das hat mMn nix mit rootfs zu tun...evtl ist das build schema bei ARCH anders...aber die Grundregel bleibt...jedes Modul muss zum Kernel passen.

 

[Korni22]

Should you wish to update the core/linux package before the AUR/zfs and AUR/spl packages' dependency lists are updated, a possible work-around is to remove (uninstall) spl and zfs packages (the respective modules and file system may stay in-use), update the core/linux package, build + install zfs and spl packages - just do not forget to edit PKGBUILD and correct the core/linux version number in "depends" section to match the updated version). Finally, the system may be rebooted. [ This is only for the situation, when ZFS is not used for root filesystem. ]

Ich verstehe auch nicht ganz ob und wie und was und wo, ABER langsam wird mir klar, dass vllt lieber ein FreeBSD nutzen sollte...

 

[hominidae]

Tja, es ist kein Problem, nur ein Risiko...für einen Server muss man auch nicht alle updates mitmachen und i.d.R. sollte alles gut laufen.
Man sollte eh jedes Update genau angucken und bewusst die Entscheidung treffen.

Bei FreeNAS mit GELI hatte ich nur 2/3 der Performance als mit ZoL/dmcrypt ...mag aber an der Verschlüsselung liegen.
Bei FreeBSD geht aktuell S3/suspend nicht richtig.

Die Performance wird mMn nicht am ZoL/ZFS liegen/hängen, sondern vor allem welche Protokolle Du einsetzt.
Mein Beispiel mit iSCSI und rsync zeigt ja die Tendenz...NFS und SMB werden auf jeden Fall langsamer sein.
Das rootfs auf ZFS ist mMn kein muss...da gibt es Alternativen, die weniger kompliziert sind.

 

[Korni22]

Es geht mir bei Arch primär darum, dass ich genau weiß, was ist mitinstalliert ist und pacman ist halt einfach nur großartig

Also wird es wohl ein FreeBSD werden

ZFS als rootfs ist mir nicht wichtig, was immer FreeBSD auch nutzen mag ist für mich absolut okay

Solange NFS Gigabit ausreizt, ist alles in Ordnung, das sollte es ja eigentlich auch schaffen, denke ich...

 

[hominidae]

...kommt auch auf die Platten selbst an .
Mein RaidZ3 sind 9x 3TB Seagate/Hitachi 7.2k disks....jede einzelne hält so 110MB/sec durch und das bleibt im z3 setup auch so.
Einen 5.4k disk wird das nicht schaffen...da werden es max 75MB/sec...so sagt mein raid-z2-Pool aus 7x 5.4k-2TB disks