ZFS Stammtisch

[AG1M]

Guten morgen,

kleine Frage gibt es bei ZFS v28 und "echten" 4 KB Sektoren HDDs etwas zu beachten, hatte bisher immer nur max. 512 Byte (4 KB mit Emulation) Samsung 2 TB HDDs? Muss man vorher ein GPT Label schreiben (MBR wär ja falsch oder?), oder gibt es da nichts zu beachten?

Ah schon gefunden http://blog.monsted.dk/?q=node/1

[antilope114]

Habe 4 SAS Platten an meinem 9211-4i, eine davon würde ich gerne gegen ein neues Laufwerk tauschen. Wie kann ich ohne trial and error herausfinden, welche Platte am Controller Disk 0 ist?

andreas@linda:~# format -e
Searching for disks...done


AVAILABLE DISK SELECTIONS:
0. c0t5000C50034013A43d0 <SEAGATE-ST33000650SS-0002-2.73TB>
/scsi_vhci/disk@g5000c50034013a43
1. c0t5000C5003401598Fd0 <SEAGATE-ST33000650SS-0002-2.73TB>
/scsi_vhci/disk@g5000c5003401598f
2. ....

edit/ Hab's - wen es interessiert:

smartctl -d scsi -a /dev/rdsk/c0t5000C50034013A43d0 | grep "Serial"

zeigt mir die Seriennummer an.

[xrated]

Gibt es eigentlich eine Möglichkeit das alle Platten auf einmal aus dem Standby aufwachen? Das dauert bei 5 Disks im RaidZ1 immer unglaublich lange weil die nacheinander einen Spinup machen.

[AG1M]

Hallo,

bin gerade am optimieren was mir als Geschwindigkeitszuwachs helfen könnte (man ist ja nie zufrieden)

So sieht mein aktueller zpool (v28) aus:

  pool: storage
 state: ONLINE
 scan: none requested
config:

        NAME         STATE     READ WRITE CKSUM
        storage      ONLINE       0     0     0
          mirror-0   ONLINE       0     0     0
            da0      ONLINE       0     0     0
            da1      ONLINE       0     0     0
          mirror-1   ONLINE       0     0     0
            da2      ONLINE       0     0     0
            da3      ONLINE       0     0     0
        logs
          mirror-2   ONLINE       0     0     0
            ada0s1a  ONLINE       0     0     0
            ada1s1a  ONLINE       0     0     0
        cache
          ada0s1b    ONLINE       0     0     0
          ada1s1b    ONLINE       0     0     0

da0 bis da3 sind vier normale 2 TB SATA2 HDDs, ada0 + ada1 sind jeweils zwei 60 GB Intel SSDs, soweit so gut. 16 GB Ram stehen dem Host zur Verfügung, die FreeBSD 9.0 boot/loader.conf ist schon auf die 16 GB Ram optimiert. (FreeBSD Evil ZFS Tuning usw.)

Nun ist ja Standardmäßig ZFS "primarycache" + "secondarycache" auf "all" gesetzt, nun habe ich aber Testweise mal nur auf "metadata" gestellt und gleich einen Performanceboost bekommen beim kopieren. Seltsam war es aber das ich Datenraten von etwa max. 131 MB/s hatte und kurz vorm Ende ging es runter auf 8 MB/s dann wieder nach oben auf 100+ MB/s, zwischendurch immer mal auf bis 75 MB/s runter, eben sehr schwankend. Es handelt sich dabei aber nur um eine 10 GB große Image Datei. Der Kopiertest erfolgte auf eine Wechselfestplatte, welche auch 2 TB groß war und als ZFS pool mit nur einer Disk eingestellt war. Ist diese Schwankung "normal"?

Bei der Orcalehilfe steht:

primarycache – Kontrolliert, was im ARC gespeichert wird.
secondarycache – Kontrolliert, was im L2ARC gespeichert wird.

Mögliche Werte für beide Eigenschaften – all, none und metadata. Ist diese Eigenschaft auf all gesetzt, werden sowohl Benutzerdaten als auch Metadaten im Cache gespeichert. Ist diese Eigenschaft auf none gesetzt, werden weder Benutzerdaten noch Metadaten im Cache gespeichert. Ist diese Eigenschaft auf metadata gesetzt, werden nur Metadaten im Cache gespeichert. Die Standardeinstellung ist all.

Könnt ihr mir etwas helfen, wie man nun die optimale/stabile Schreibperformance das ganze Einstellen sollte? Danke

[Digi-Quick]

Guten morgen,

kleine Frage gibt es bei ZFS v28 und "echten" 4 KB Sektoren HDDs etwas zu beachten, hatte bisher immer nur max. 512 Byte (4 KB mit Emulation) Samsung 2 TB HDDs? Muss man vorher ein GPT Label schreiben (MBR wär ja falsch oder?), oder gibt es da nichts zu beachten?

Ah schon gefunden Fixing the ZFS ashift problem on FreeBSD | blog.monsted.dk

also nach meinen Infos gibt es (noch) keine echten 4K Laufwerke, die AF Laufwerke emulieren allesamt eine Sektorgrösse von 512 Byte an der Schnittstelle (SATA), d.h. die Platten haben intern 4K Sektoren, werden aber wie ALLE Platten mit 512 Byte Sektoren adressiert!!

Ich verstehe in diesemn Zusammenhang die 4KB Emulation nicht - meinst du die Clustergrösse vom Dateisystem?

[soomon]

hi,

bin auf meiner zfs recherche auf den thread hier gestoßen.
ich will meinen backuprechner bzw mediapc neu aufsetzen und würde gerne ZFS wegen der sicherheit und deduplikation verwenden, jedoch will ich definitiv verschlüsselung.
unter linux wäre ja wahrscheinlich LUKS die beste wahl?
wie kombiniere ich das mit zfs? brauch ich zfs-fuse? ist ja langsamer als die zfs implementierungen im kernel wenn ich das richtig verstanden habe.
kann ich erst das os booten, dann die disks mit luks mounten und dann zfs aktivieren?

thx & gruß,
soomon

[gr4y5ky]

Hey ho
Wenn ich mit ZVOL ein virtuelles Block device innerhalb eines Zpools erzeuge; wird dann jeder Block dieses Device auch mit einer ckecksum versehen?

Vielen Dank

[antilope114]

Hey ho
Wenn ich mit ZVOL ein virtuelles Block device innerhalb eines Zpools erzeuge; wird dann jeder Block dieses Device auch mit einer ckecksum versehen?

Vielen Dank

Die Frage ist nicht ganz eindeutig: zvols bzw. LUNs werden von ZFS nur als Ganzes mit chksums versehen, die Inhalte sind für ZFS nicht transparent.

hi,

bin auf meiner zfs recherche auf den thread hier gestoßen.
ich will meinen backuprechner bzw mediapc neu aufsetzen und würde gerne ZFS wegen der sicherheit und deduplikation verwenden, jedoch will ich definitiv verschlüsselung.

Du brauchst für dein Vorhaben kein dedup. Um genau zu sein brauchen 98% der Anwender kein dedup weil sie meist nichtmal die notwendigen Hardware-Vorraussetzungen (d.h. genug RAM für die dedup-table) mitbringen.
Für Backups ist ein ext4-Dateisystem mit LUKS vollkommen ausreichend. Ich würde sogar argumentieren, dass du mit zfs-fuse schlechter gestellt bist unter Linux als mit ext4, das nativ im Kernel integriert ist.

[gea]

hi,

bin auf meiner zfs recherche auf den thread hier gestoßen.
ich will meinen backuprechner bzw mediapc neu aufsetzen und würde gerne ZFS wegen der sicherheit und deduplikation verwenden, jedoch will ich definitiv verschlüsselung.
unter linux wäre ja wahrscheinlich LUKS die beste wahl?
wie kombiniere ich das mit zfs? brauch ich zfs-fuse? ist ja langsamer als die zfs implementierungen im kernel wenn ich das richtig verstanden habe.
kann ich erst das os booten, dann die disks mit luks mounten und dann zfs aktivieren?

thx & gruß,
soomon

ein paar Gedanken dazu:

- ZFS Verschlüssellung im Dateisystem gibt es auschließlich (mit Vor- und Nachteilen) bei Oracle Solaris 11
- ZFS Verschlüssellung auf verschlüsselten Devices/ Dateien gibt es bei any Solaris/ OpenIndiana/ FreeBSD/ Linux
- ZFS/ Fuse ist ein nogo: Kernel Implementierung bei Linux nehmen;
das schnellste/neueste/stabilste ZFS und den besten SMB/iSCSI Server gibts bei Solaris/OI
- dedup ist nur bei ganz wenigen Anwendungen sinnvoll: braucht immens RAM (realtime dedup)

[antilope114]

Bei meinen SAS-Platten bemerke ich, dass die (sequentielle) Performance über NFS ab etwa 60-70% Füllstand merklich nachlässt. Dateien die früher geschrieben wurden kann ich mit 80-90 MB/s lesen, solche, die bei höherem Füllstand dazukommen (also ab der genannten Grenze etwa) teilweise nur mit 40-50 MB/s.

Gibt es Best Practices zum "optimalen" Füllstand? Habe mal irgendwo gelesen, dass man die Festplatten idealerweise nicht mehr als 80% befüllt um nicht merklich an Performance zu verlieren.

Theoretisch sollte das ja kein ZFS-spezifisches Problem sein, sondern in der Struktur der Magnet-Platter bzw. dem mechanischen Aufbau der Festplatte begründet liegen.

[gea]

Bei meinen SAS-Platten bemerke ich, dass die (sequentielle) Performance über NFS ab etwa 60-70% Füllstand merklich nachlässt. Dateien die früher geschrieben wurden kann ich mit 80-90 MB/s lesen, solche, die bei höherem Füllstand dazukommen (also ab der genannten Grenze etwa) teilweise nur mit 40-50 MB/s.

Gibt es Best Practices zum "optimalen" Füllstand? Habe mal irgendwo gelesen, dass man die Festplatten idealerweise nicht mehr als 80% befüllt um nicht merklich an Performance zu verlieren.

Theoretisch sollte das ja kein ZFS-spezifisches Problem sein, sondern darin begründet liegen, dass die Daten eben an den Rändern der Platter nicht mehr so dicht geschrieben werden.

das sehe ich eher als "Fragmentierungsproblem".
Je weniger freie Blöcke, desto weniger sequentielle Datentransfers.

Ich würde kein Dateisystem mehr als 90% füllen, < 70% ist die sichere Seite

---------- Post added 26.06.12 at 00:02 ---------- Previous post was 25.06.12 at 23:58 ----------

Hey ho
Wenn ich mit ZVOL ein virtuelles Block device innerhalb eines Zpools erzeuge; wird dann jeder Block dieses Device auch mit einer ckecksum versehen?

Vielen Dank

Die Benennung ist nicht ganz eindeutig.
ZFS schreibt alle Daten mit Prüfsummen auf Datenpools.
Blockdevices (volumes) auf einem ZFS Pools sind Daten/devices, die wie eine Festplatte verwaltet werden.

Davon unabhängig sind das ZFS Daten - die immer mit Prüfsumme geschrieben werden.

[antilope114]

Ich würde kein Dateisystem mehr als 90% füllen, < 70% ist die sichere Seite

Weißt du, nach welchem Algorithmus zfs Daten beispielsweise bei einem striped mirror auf einzelne vdevs alloziert?

[gea]

Weißt du, nach welchem Algorithmus zfs Daten beispielsweise bei einem striped mirror auf einzelne vdevs alloziert?

Wenn auf allen vdevs ausreichend Platz ist würde ich sagen: gleichmäßig verteilt
- denn nur dann hat man die addierte Performance alller Platten/vdevs

[drdope]

Moin,

Ich bin grad dabei mir einen (bzw. zwei) neue Fileserver basierend auf FreeNAS aufzubauen.
Die Systeme sollen meinen bisherigen Gentoo-Fileserver ersetzen; der 2. Server soll als Backupserver für den ersten fungieren (via rSync) und wäre nicht dauerhaft in Betrieb bzw. aus Sicherheitsgründen nicht dauerhaft am Netz, sondern würde die meiste Zeit Off-Site stehen.

Im Kontext von ZFS (es soll ein "einfaches" Raid-Z1 mit 6x 4TB eingesetzt werden) wird erwähnt, daß man ZFS pi mal Daumen 1GB RAM/TB HDD-Space gönnen sollte.
Braucht man wirklich für eine Single-User Umgebung, die eh von der GB-LAN Anbindung der Server limitiert ist, so viel RAM?

Oder bezieht sich diese Angabe eher auf reguläre Serverworkloads mit Multiuserzugriffen/hohen Ramdom-IO-Workloads, wo der RAM als Cache fungieren würde?

Als Hardware soll folgendes zum Einsatz kommen:

6 x Hitachi Deskstar 7K4000 4000GB, SATA 6Gb/s (0F14681/0S03363)
1 x Intel Xeon E3-1230, 4x 3.20GHz, Sockel-1155, boxed (BX80623E31230)
4 x Kingston ValueRAM Elpida DIMM 4GB PC3-10667E ECC CL9 (DDR3-1333) (KVR1333D3E9S/4GEC)
1 x Supermicro X9SCL-F Retail, C202 (Sockel-1155, dual PC3-10667E DDR3)
1 x Fractal Design Define Mini (FD-CA-DEF-MINI-BL)
1 x Cougar A400 400W ATX 2.3

Das ganze wird noch ergänzt um:

--> http://preisvergleich.hardwareluxx.de/478381
Da passen hinten direkt die Sata->USB Platinen aus diesen exteren Geäusen dran:
--> http://preisvergleich.hardwareluxx.de/500065 (2x)
Und dazu noch
--> http://preisvergleich.hardwareluxx.de/720072

Damit kriege ich dann noch zwei weitere 1TB 2,5' HDDs in das Gehäuse bzw. am Mainboard angeschlossen ohne einen zusätzlichen HDD-Controller verbauen zu müssen.
USB 2.0 sollte von der Performance für die TimeMachine-HDD und perspektivisch den iTunes-Musik-Server def. ausreichen.
Dann landen auf dem Array nur noch meine VideoFiles und Backups.

Wenn meine Rechnung aufgeht, sollte das Ding dann ca. 75W bei 26TB Brutto schlucken, was man noch um 15W reduzieren könnte, wenn man statt 7200er auf 5400er HDDs setzt (die 4TB 5400er sind aber derzeit nirgends lieferbar).

[ludwinator]

Kurze Anmerkung: 16GB Ram is schon OK, aber ich würde:

- Solaris oder OI/Illumos statt Freenas nehmen, ZFS ist dort einfach deutlich schneller.
- RaidZ2 verwenden, denn ein Resilver von vollen 4TB Platten dürfte 2 Tage dauern. Bei 6 Platten ist RaidZ2 auch von der Performance her besser. Ansonsten bei RaidZ1 nur 5 Platten nehmen.

cu

[MrDeluxe]

- Solaris oder OI/Illumos statt Freenas nehmen, ZFS ist dort einfach deutlich schneller.

Gibt es da vergleichswerte?

Aber Freenas ist schon deutlich komfortabler als Solaris oder OI/Illumos. Da muss man schon Kompromisse machen.

[c0d0s0]

Vergleichswerte direkt hab ich nicht aber bei "lahmen" Kisten sind SMB Freigaben in Solaris flotter als in FreeNAS (obs an ZFS oder SMB liegt kann ich nicht sagen)
Sobald die Kiste aber ne 1Gbit/s LAN auch unter FreeNAS voll ausreizen kann (geht mit der Config oben auf jeden Fall) merk ich dann persönnlich keinen Unterschied mehr. Könnte sein das ein RAIDZ unter Solaris intern schneller ist als unter FreeNAS aber die 1Gbit/s LAN sind für mich das Maß aller Dinge, mehr brauch ich persönnlich nicht. Cool find ich auch bei FreeNAS die Install des OS auf nen billigen USB Stick um die SATA Ports nur für Daten HDDs freizuhalten.

[MrDeluxe]

Hier mal ein Vergleich der verschiedenen Systeme:
FreeNAS vs OpenSolaris ZFS Benchmarks » ZFS Build

Freenas sch***t ziemlich ab in Sachen Performance.

EDIT: leicht veraltet^^

[bluesunset]

FreeNAS verwendet ja auch immer noch einen alten ZFS Versionsstand. Kein v28 wie ein FreeBSD 9.0

[c0d0s0]

Bei FreeNAS kommt v28 erst noch, bei NAS4free wird schon v28 benutzt.
P.S: NAS4free ist der Nachfolger von FreeNAS 0.7x während FreeNAS 8.x eine Neuentwicklung ist.

[ludwinator]

Freenas 8.2 hat ZFS V28, ist aber immer noch Beta.

[gea]

Gibt es da vergleichswerte?

Aber Freenas ist schon deutlich komfortabler als Solaris oder OI/Illumos. Da muss man schon Kompromisse machen.

FreeNas = FreeBSD + Web-UI
OI = Server-OS ohne Web-UI aber mit grafischer Oberfläche (live-edition)

Ein Web-UI gibt es für Solaris basierte Systeme aber mit Nexenta CE oder napp-it
Der Komfort ist dann durchaus vergleichbar. Was bleibt ist der schnelle kernelbasierte CIFS Server bei
Solaris, der SMB Sharing in ZFS integriert, mit funktionierenden Windows ACL und snapshots als
Windows -Eigenschaft "vorherige version". Auch iSCSI und NFS sind unter Solaris einfach prima.

Auch ist Solaris besser auf den Storagebetrieb vorbereitet und alles kommt aus einer Hand (Früher SUN jetzt Illumos). Bei FreeNAS muss erst noch einiges optimiert werden, damit alle Resourcen für ZFS nutzbar sind.

Was für FreeNAS spricht, ist vor allem die größere Anzahl an Programmen, die ohne Ärger hinzu-
installiert werden können (z.B. Mediaserver, DLNA etc)

[drdope]

Vergleichswerte direkt hab ich nicht aber bei "lahmen" Kisten sind SMB Freigaben in Solaris flotter als in FreeNAS (obs an ZFS oder SMB liegt kann ich nicht sagen)
Sobald die Kiste aber ne 1Gbit/s LAN auch unter FreeNAS voll ausreizen kann (geht mit der Config oben auf jeden Fall) merk ich dann persönnlich keinen Unterschied mehr. Könnte sein das ein RAIDZ unter Solaris intern schneller ist als unter FreeNAS aber die 1Gbit/s LAN sind für mich das Maß aller Dinge, mehr brauch ich persönnlich nicht. Cool find ich auch bei FreeNAS die Install des OS auf nen billigen USB Stick um die SATA Ports nur für Daten HDDs freizuhalten.

Erstmal danke für die Antworten.

Mir gehts bei der ganzen "FreeNAS-Geschichte" primär darum einen rel. kompakten, stromsparende Fileserver aufzubauen, der weniger administrativen Aufwand generiert als mein jetziges Gentoo-System.

Auf FreeNAS als Appliance-OS bin ich gekommen, weil es:
a) von einem USB-Stick löppt -> blockiert keinen Sata-Port
b) viele Komfort-Features bietet, die ich unter Linux mit Softraid aufwendig per Hand/scripten einrichten müßte (eMail-Benarichtigung bei Problemen; Konfig via WebGUI; rSync-diff mit dem geplanten Backupserver).
c) verifiziert mit dem Supermicro-Board läuft (hab mir gedacht für Softraid/ZFS ist ECC-RAM sicher nicht verkehrt und KVM over IP ist ein nettes Zusatzfeature, dann muß ich nicht für jeden Kram in den Keller - =Serverstandort - bzw. den Server hoch schleppen)

Wenn ich das - inzwischen hochoptimierte - Gentoo-Linux, gegen ein anderes, vollwertiges OS tausche, komme ich ja vom Regen in die Traufe.

Meine Ansprüche an den Server sind eigentlich sehr gering:
a) Das Diskarray soll per Samba/AFP verfügbar sein; der Speicherplatz soll "am Stück" verfügbar sein
b) zwei zusätzliche interne USB-HDDs sollen als TimeMachine & iTunes-Server (kommt wohl mit 8.2) fungieren
c) Die Kiste sollte ausreichend fix sein, um die GB-LAN Anbindung zum Flaschenhals werden zu lassen
d) Mail-benachrichtigung, wenn irgendwas mit dem Array/System nicht ok sein sollte
e) vollautomatisiertes Backup via rSync-Diff auf ein zweites identisches System
f) komplett via Webinterface bedienbar; möglichst geringer Adminaufwand/Wartungsaufwand

@ludwinator
Was spricht denn gegen das Raid-Z1 mit 6 HDDs (und was spricht für 5)?
Ich habe bisher immer mit Hardwareraids gearbeitet (3Ware und Areca) -> soweit ich das gelesen habe entspricht ein rZ1 einem Raid5 (einfach Redundanz) und ein rZ2 einem Raid6 (fache Redundanz) -> in dem Kontext würde mir eine einfache Redundanz eigentlich reichen bzw. wäre mir der zusätzliche "Platz" definitiv wichtiger, da mir privaten Umfeld potentielle Ausfallzeiten nicht sonderlich weh tun, zumal ja eh ein 2. identischer Backupserver angedacht ist, sobald sich das Ding im "Alltag" als tauglich erweisen hat (bis der steht, behalte ich einfach den "alten" Gentoo-Fileserver als "Backup".

[ludwinator]

Vereinfacht ausgedrückt: ZFS arbeitet mit bis zu 128kb großen Blöcken, im Fall von RAIDZ1 auf 6 Platten muss also 128kb auf 5 Platten kopiert werden, die 6. Platte sorgt für die Prüfsumme. Merkst du was? 128KB geht nicht grade durch 5, aber durch 4.
Ergo: RAIDZ1 immer mit 3, 5, 9 und RaidZ2 mit 4, 6 oder 10 Devices usw.

cu

[gr4y5ky]

Vielen Dank an antilope114 und gea für die schnelle Antwort!

Mein Plan ist es einen zpool mit raidz2 mit 8 Platten zu erstellen.
Darauf will ich dann ein riesiges Blockdevice mit ZVOL erstellen.
Dieses Blockdevice wird mit LUKS (Linux) transparent verschlüsselt und darauf kommt dann ext4.

Wenn ich die Antworten richtig interpretiert habe, erweitere ich mit diesem Setup die Vorteile von Zfs bezüglich Datensicherheit (Raidz2, online scrubbing, checksumming jedes Datenblocks etc...)
mit einen performanten Cryptolayer.

Meine Frage:
habe ich irgendwas wichtiges übersehen?
Hat das Verwenden von einem gigantischen Blockdevice irgendwelche Nachteile? (ich würde das Blockdevice 100gb kleiner als den eigentlichen Pool machen. Ist das genug um ein copy-on-write Filesystem noch performant zu betreiben?

Vielen Dank