[Sammelthread] ZFS Stammtisch

[gea]

Die SE für Solaris/OmniOS kann man z.B. mit einem kostenlosen evalkey auf 26.06 se free bringen. Napp-it se hat Solaris Features wie Comstar bei denen ich momentan nicht vorhabe sie auf cs zu portieren. SE erhält noch bugfixes und Anpassungen an neueres OmniOS. Der Focus ist aber eindeutig die any OS/multi host cs. Neueste cs Features werden nicht auf se portiert (z.B. integrierter webserver, cs-stream, filesync, Cluster Betrieb etc).

Anfangs war napp-it cs eine Ergänzung zu se, jetzt ist es umgekehrt. Beide Varianten arbeiten aber nebeneinander, man kann direkt wechseln. Die Zukunft sehe ich in cs, auch weil die Bedeutung von Solaris/Illumos sinkt, auch wenn es immer noch das stabilste ZFS ist und Illumos gerade Fast Dedup integriert.

Weitere Fragen gerne im napp-it cs Sammler.

 

[CommanderBond]

Was kann man noch mit 2 Optane P1600X mit 118GB anstellen sinnvolles?

So wie ich das sehe eigenen sie sich bei ZFS ausgezeichnet als SLOG wenn man einen langsammen HDD Pool hat beispielsweise.
Jetzt ist die Sache nur die dass ich auf HDDs eh nur noch große Videos und Backups speichere und "das alltägliche Zeit" was nicht so viel ist auf einem Sata SSD Mirror.
So zumindest mein Speicherkonzept eher das zu trennen was unterschiedliche Anforderungen hat.

Wenn ich richtig informiert bin würde mir ein SLOG also rein gar nichts bringen bei meinem Setup weil das aller meiste nur asycrone writes sind.

Würde ein eigenständiger Pool mit 2 Optanes Sinn ergeben um dort VMs abzulegen? Oder doch besser verkaufen?

 

[BobbyD]

@CommanderBond Was verbraucht denn so ein Teil an Strom?

 

[CommanderBond]

Steht im Datenblatt. Für mich ist das nicht relevant für meine Frage

 

[ludwinator]

Was schon was bringt, wäre die Optanes a specal devices laufen zu lassen für meta und evtl. dedup.
In den neueren ZFS Verisonen werden die dann auch zusätzlich als slog benutzt.
Reduziert auf jeden Fall die Fragmentierung auf spinning rust.

 

[BobbyD]

Steht im Datenblatt

Wenn dich der Verbrauch nicht stört, dann betreibe sie doch so weiter.
Ich würde sie für temporäre Downloads, TV-Aufnahmen, etc. benutzen, wenn der idle-Verbrauch nicht zu hoch ist. < 1.7 W ist jetzt nicht so viel, aber auch nicht so toll. 10Gbit scheinen sie ja knapp zu erfüllen.

 

[CommanderBond]

Sie sind ja aktuell nicht in Gebrauch sondern liegen in der Schublade rum. Die Frage ist nur irgendwas mit machen oder verkaufen.
TV-Aufnahmen habe ich auch nicht. Hab nur nen großen HDD "Archive" Pool und einen SSD-Pool für den Rest.

Am Ende gehts ja auch darum dass man irgendwas halbwegs sinnvolles damit macht. Ich glaube der HDD Pool würde davon nicht profitieren, da werden mal großes Dateien, 50GB oder mehr drauf geschrieben oder Backups gemacht was in der Woche auch in der Regel nur paar 100MB sind wenn überhaupt.

Hab paar VMs, HomeAssistant, InfluxDB (Datenbank) etc, da könnte ich mir vorstellen würde ich noch den größten Nutzen haben.

Als "Special Devices" zu benutzen da bin ich irgendwie auch skeptisch. Wenn ich nen Pool habe wo 2 HDDs ausfallen können dann hätte ich bei einem Mirror als Special Devices ja nur ein Laufwerk was ausfallen kann für kompletten Datenverlust.

So wie ich das sehe hat ZFS aber auch noch keinen "normalen" Schreibcache wo einfach alle Daten die reinkommen erstmal zwischengespeichert werden. Sprich wenn der Pool nur 300MB/s macht, man aber 10Gbit hat, zumindest für die ersten 100GB durch die Optanes hier das 10Gbit Ethernet ausgelastet werden könnte.

Dedup Table wäre nice, aber dann würde ich vermutlich nen Mirror Pool machen nur mit den beiden Optanes und dadrauf dann VMs packen...

Ich seh es vereinfacht bisschen so: HDD für große Dateien, Backups und Archive Krams, wo SSD (noch) wirtschaftlich keinen Sinn ergibt. Günstige SSDs für das allgemeine Zeug, und teure SSDs oder Optanes für so Dinge wie VMs, Datenbanken usw.

 

[gea]

Als "Special Devices" zu benutzen da bin ich irgendwie auch skeptisch. Wenn ich nen Pool habe wo 2 HDDs ausfallen können dann hätte ich bei einem Mirror als Special Devices ja nur ein Laufwerk was ausfallen kann für kompletten Datenverlust.

Special vdev macht man auch als Mirror. Ein Optane Mirror ist viel zuverlässiger als der HD Mirror

So wie ich das sehe hat ZFS aber auch noch keinen "normalen" Schreibcache wo einfach alle Daten die reinkommen erstmal zwischengespeichert werden. Sprich wenn der Pool nur 300MB/s macht, man aber 10Gbit hat, zumindest für die ersten 100GB durch die Optanes hier das 10Gbit Ethernet ausgelastet werden könnte.

Schreibcache ist bei ZFS ausschliesslich RAM. Ein Special vdev kann man allerdings fnicht nur für Metadata, Small Files sondern auch komplett für kritische Dateisysteme nehmen

Dedup Table wäre nice, aber dann würde ich vermutlich nen Mirror Pool machen nur mit den beiden Optanes und dadrauf dann VMs packen...

Special Vdev speichert auch dedup tables. Bei Dedup solte man aber nur Oracle Solaris Dedup2 oder OpenZFS Fast Dedup nehmen (wird in OmniOS gerade integriert)

Ich seh es vereinfacht bisschen so: HDD für große Dateien, Backups und Archive Krams, wo SSD (noch) wirtschaftlich keinen Sinn ergibt. Günstige SSDs für das allgemeine Zeug, und teure SSDs oder Optanes für so Dinge wie VMs, Datenbanken usw.

Darum Special Vdev, da kann man das flexibel je Dateisystem entscheiden wo was liegen soll.

 

[asm@s24]

Was kann man noch mit 2 Optane P1600X mit 118GB anstellen sinnvolles?

Allein die winzige Größe läßt mich sagen: gar nichts.
Hab für meinen z1 Rost-Pool im 2x2TB special vdev ~500G an small blocks und SSD-only-VMs. Und das rennt.

 

[CommanderBond]

Darum Special Vdev, da kann man das flexibel je Dateisystem entscheiden wo was liegen soll.

Aber das könnte ich doch bei einem reinen Optane Mirror Pool auch? Was wäre denn genau der Vorteil dem SATA SSD Pool die beiden Optanes als special vdev anzuhängen statt einfach nen weiteren pool zu bilden?

Die Optionen wären eigentlich jetzt: Eigenen Optane Pool machen. Oder Optane Pool als special vdev dem SSD SATA Pool unterordnen.

 

[gea]

Aber das könnte ich doch bei einem reinen Optane Mirror Pool auch? Was wäre denn genau der Vorteil dem SATA SSD Pool die beiden Optanes als special vdev anzuhängen statt einfach nen weiteren pool zu bilden?

Die Optionen wären eigentlich jetzt: Eigenen Optane Pool machen. Oder Optane Pool als special vdev dem SSD SATA Pool unterordnen.

Im Prinzip gilt bei mixed load/concurrent read/write als Hausnummer

HD: 50-100 MB/s, 100 iops, 10MB/s sync
SSD: 100-500 MB/s, 5000-30000 iops, 50 MB/s sync
Optane: >1GB/s, > 200000 iops, auch bei steady/concurrent read/write, 300 MB/s sync

Ideal ist damit ein Hybridpool hd + Optane bzw extra SSD pool für VMs (ohne Betrachtung sync write)

 

[CommanderBond]

Ideal ist damit ein Hybridpool hd + Optane bzw extra SSD pool für VMs (ohne Betrachtung sync write)

Was ist denn an einem Hybridpool mit Optane besser als nur Optanes allein?

Mir ist immer noch nicht klar wenn ich nur ein paar große Mediadateien auf meinen HDD Pool schiebe, inwiefern hier Optanes spürbar meine Performance verbessern können.
Ich speichere da nur große Dateien, sonst gar nichts.

Also ich will ja Verbesserung haben so wie ich es aktuell nutze, ich will keinen Hybridpool erstellen und mich dann daran anpassen was Sinn ergibt wenn man einen solchen Pool hat.

Mein Pool hat 4 HDDs und RaidZ2. Also wohlwollend 400MB/s. Selbst wenn eine Optane schneller ist nützt mir das bei Async Writes doch gar nichts. Der Pool wäre für mich immer noch genauso langsam weil die Optanes doch für async gar nicht benutzt werden?