[Kaufberatung] TrueNAS mit SSD's erweitern - NAS-SSD, oder Consumer-SSD - welche nehmen?

[hs_warez]

Hallo!

Derzeit liegen alle meine Daten auf 2x6TB Ironwolf im RaidZ - was mich stört ist, dass das "Arbeiten" mit Fotos etwas anstrengend ist.
Ich überlege deshalb, das NAS mit 2x1TB SSD's für die Fotos zu erweitern - dann sollten die Zugriffe zügiger sein.

Da ich ohnehin wieder 2x1 TB im RaidZ betreiben werde, und die Fotos ohnehin täglich auf einen externen Speicher (verschlüsselt an Hetzner-Server) gesichert werden, nun meine Frage:

Ist es in meinem Fall trotzdem "zwingend" notwendig/sinnvoll, wenn ich richtige NAS-SSD's (z.B. Ironwolf 125) verwende, oder kann man auch gute Consumer-SSD's nutzen!?


Danke!


LG

 

[gea]

Hallo!

Derzeit liegen alle meine Daten auf 2x6TB Ironwolf im RaidZ - was mich stört ist, dass das "Arbeiten" mit Fotos etwas anstrengend ist.
Ich überlege deshalb, das NAS mit 2x1TB SSD's für die Fotos zu erweitern - dann sollten die Zugriffe zügiger sein.

Man könnte einen zweiten 2TB SSD Pool anlegen. Ich würde eher einen special vdev mirror hinzufügen um 8TB zu erhalten. Wenn man dann ein Dateisystem für Fotos anlegt bei dem die recsize < small block size ist, so landen alle Fotos auf den SSD,

https://www.napp-it.org/doc/downloads/special-vdev.pdf

btw
Raid-Z aus 2 Platten ist möglich aber sinnfrei.
Man hat die gleiche Ausfallwahrscheinlichkeit wie ein Mirror aber nur die halbe Leseperformance.

Da ich ohnehin wieder 2x1 TB im RaidZ betreiben werde, und die Fotos ohnehin täglich auf einen externen Speicher (verschlüsselt an Hetzner-Server) gesichert werden, nun meine Frage:

Ist es in meinem Fall trotzdem "zwingend" notwendig/sinnvoll, wenn ich richtige NAS-SSD's (z.B. Ironwolf 125) verwende, oder kann man auch gute Consumer-SSD's nutzen!?

was heißt schon zwingend....
Desktop SSD haben im Server zwei Nachteile

1. Performance bricht meist beim Schreiben nach kurzer Zeit ein:
Könnte man durch "Overprovisioning" z.B. per hpa/ host protected area verringern

2. Mangels powerloss protection gibt es ein geringes Risiko eines Datenverlustes/Dateisystemkorruption bei einem Absurz beim Schreiben sowie ein sehr geringes Risiko beim Absturz während die SSD intern optimiert/garbage collection.

Externes Disaster Backup macht auch bei ZFS Sinn. Vorteilhaft wenn man keine Bedenken über die Fehlerfreiheit der Originaldaten haben muss (ECC, plp bei SSD. sync write)

 

[hs_warez]

Danke für deinen Input!
Das mit „small block size“ klingt interessant - möchte es aber lieber „manuell“ gleich direkt auf einem eigenen Pool ablegen.

Die Ironwolf HDD‘s laufen als „mirror“ - da hab ich mich oben verschrieben!


Die beiden Platten laufen jetzt problemlos seit 01/2021 durch - davor lagen sie 2 Jahre ungenutzt herum.

Vor ein paar Wochen habe ich 2 Ironwolf Pro mit 4 TB relativ günstig (neu/OVP) bekommen.

Die Fragen ist halt jetzt, einfach die Pro‘s einbauen und dorthin dann die wichtigsten Daten (Fotos) übersiedeln, oder die Pro‘s weiterverkaufen und anstatt dieser SSD‘s verbauen?!

Wo sind denn Fotos sicherer aufgehoben, oder ist dies dan ZFS+ECC ohnehin egal?

Derzeitige Varianten im Kopf (für meine Fotos):
2x Ironwolf Pro 4TB HDD‘s verbauen
oder
2x SSD‘s (Consumer, oder NAS?!)
oder
nur 1x SSD verbauen, da die Fotos ohnehin täglich auf einen externen Server gesichert werden?!

Hm, was wäre deine Meinung?

LG

 

[besterino]

Da Dich doch vor allem die aktuelle Performance stört, würde ich auf SSDs in Deinem Haupt-Speichersystem dafür wechseln. Da kann dann sogar eine reichen, wenn du halbwegs regelmäßig replizierst/sicherst.

Tendenziell sind in meinen Augen SSDs in Sachen Zuverlässigkeit grundsätzlich besser als HDDs (schon weil sie keine mechanisch beweglichen Teile haben). Dazu sind sie schneller und kleiner und leiser und effizienter. Dafür aber halt teurer bei gleicher Kapazität und je mehr Kapazität
man braucht umso teuerer. Außerdem lassen sich manche Kapazitäten mit SSDs schlicht gar nicht (bezahlbar) abbilden, z.B. eine 20TB SSD… dann brauch man also für gleiche Kapazität also schon mehrere SSDs und dann steigt theoretisch die Ausfallrate um einen gewissen Faktor. Um das auszugleichen braucht man dann ggf. NOCH mehr Kapazität was es dann NOCH teurer machen kann…

Beispiel: RaidZ mit 3x4TB HDD (1 HDD Kapazitätsverlust, netto 8TB) ist ungleich billiger als RaidZ2 mit 6x2TB (2 SSDs Kapazitätsverlust, auch netto 8TB).

Beste Preisleistung haben HDDs, wenn’s auf Performance nicht so ankommt. Redundanz würde ich immer haben wollen, kostet halt bei SSDs gefühlt mehr / tut mehr weh. Ansonsten halt SSD im live System und HDD als Backup… ist am Ende eine Frage der persönlichen Befindlichkeiten und vor allem des Budgets…

 

[Ceiber3]

Tendenziell sind in meinen Augen SSDs in Sachen Zuverlässigkeit grundsätzlich besser als HDDs (schon weil sie keine mechanisch beweglichen Teile haben). Dazu sind sie schneller und kleiner und leiser und effizienter. Dafür aber halt teurer bei gleicher Kapazität und je mehr Kapazität.

Den gedanken sehe ich ein wenig als falsch an. Eine Defekte HDD wirft meistens vorher schwebende Sektoren usw.. Eine SSD fällt mit ein schlag aus. Bei einer HDD kannst im Notfall noch reagieren und alles runtersichern bei der SSD bekommst du das garnicht mit.

 

[hs_warez]

Da Dich doch vor allem die aktuelle Performance stört, würde ich auf SSDs in Deinem Haupt-Speichersystem dafür wechseln. Da kann dann sogar eine reichen, wenn du halbwegs regelmäßig replizierst/sicherst.

Tendenziell sind in meinen Augen SSDs in Sachen Zuverlässigkeit grundsätzlich besser als HDDs (schon weil sie keine mechanisch beweglichen Teile haben). Dazu sind sie schneller und kleiner und leiser und effizienter. Dafür aber halt teurer bei gleicher Kapazität und je mehr Kapazität
man braucht umso teuerer. Außerdem lassen sich manche Kapazitäten mit SSDs schlicht gar nicht (bezahlbar) abbilden, z.B. eine 20TB SSD… dann brauch man also für gleiche Kapazität also schon mehrere SSDs und dann steigt theoretisch die Ausfallrate um einen gewissen Faktor. Um das auszugleichen braucht man dann ggf. NOCH mehr Kapazität was es dann NOCH teurer machen kann…

Beispiel: RaidZ mit 3x4TB HDD (1 HDD Kapazitätsverlust, netto 8TB) ist ungleich billiger als RaidZ2 mit 6x2TB (2 SSDs Kapazitätsverlust, auch netto 8TB).

Beste Preisleistung haben HDDs, wenn’s auf Performance nicht so ankommt. Redundanz würde ich immer haben wollen, kostet halt bei SSDs gefühlt mehr / tut mehr weh. Ansonsten halt SSD im live System und HDD als Backup… ist am Ende eine Frage der persönlichen Befindlichkeiten und vor allem des Budgets…

SSD‘s deutlich teurer - ist klar.
Die wichtigen Dinge (Fotos + Dokumente) belaufen sich derzeit auf max. 400 GB => mit 1TB hätte ich also ausreichrnd Reserveren.

Gesichert werden diese Dinge (verschlüsselt via TrueNAS) täglich an einen externen Onlinespeicher (Hetzner) - verloren gehen kann da eigentlich dann nicht sonderlich viel.

Die beste Lösung (privat) wäre natürlich 2 NAS-SSD‘s als Mirror zu betreiben.

Die Frage ist halt, wären 2 qualitativ gute Consumer SSD‘s (mirror) für meinen Zweck auch „gut“, bzw. wären die schlechter als 1 einzelne NAS-SSD?!

Die WD Red NAS SSD‘s wären günstig - hab allerdings bei einer Kundenbewertung gelesen, dass diese von div. Programmen als „Crucial MX“ erkannt werden?!

Den gedanken sehe ich ein wenig als falsch an. Eine Defekte HDD wirft meistens vorher schwebende Sektoren usw.. Eine SSD fällt mit ein schlag aus. Bei einer HDD kannst im Notfall noch reagieren und alles runtersichern bei der SSD bekommst du das garnicht mit.

Dank ZFS+ECC schleichen sich dann aber keine Defekte in den Fotos ein, bzw. werden solche Fehler dann nicht in die externe Sicherung übernommen, oder?

 

[besterino]

Ich hab lauter Consumer-SSDs im „NAS“. Bunte Mischung aus NVME und SATA: 8xADATA, 4xSamsung860er,
4xSamsung980Pro usw. Ich fahre die aber entweder als Mirror oder als RaidZ, eben weil irgendwann mal eine den Löffel abgeben mag. In einem Pool hab ich auch 4 als RAID0 laufen, da liegt aber halt wirklich unwichtiger/leicht wiederbeschaffbarer Kram.

@Ceiber3 manche SSDs lassen sich auch erstmal nicht mehr beschreiben bevor sie ganz ihr Leben aushauchen. Umgekehrt kann eine HDD auch ohne Ankündigung komplett verrecken. Auf sowas sollte man sich mMn. eh nicht verlassen sondern damit planen, dass bei einem Defekt der Datenträger eben komplett verloren ist.

 

[Ceiber3]

ZFS+ECC ist extrem Safe, da würde ich mir keinen Kopf machen. ZFS erkennt ja wenn Bits kippen und fixt sie Automatisch, das genau das selbe wie BTRFS bei Synology.

 

[hs_warez]

Ich hab lauter Consumer-SSDs im „NAS“. Bunte Mischung aus NVME und SATA: 8xADATA, 4xSamsung860er,
4xSamsung980Pro usw. Ich fahre die aber entweder als Mirror oder als RaidZ, eben weil irgendwann mal eine den Löffel abgeben mag. In einem Pool hab ich auch 4 als RAID0 laufen, da liegt aber halt wirklich unwichtiger/leicht wiederbeschaffbarer Kram.

@Ceiber3 manche SSDs lassen sich auch erstmal nicht mehr beschreiben bevor sie ganz ihr Leben aushauchen. Umgekehrt kann eine HDD auch ohne Ankündigung komplett verrecken. Auf sowas sollte man sich mMn. eh nicht verlassen sondern damit planen, dass bei einem Defekt der Datenträger eben komplett verloren ist.

Du hast also bisher gute Erfahrungen mit Consumer SSD‘s im NAS/Server gemacht - über welchen Zeitraum?

Ich sollte/kann dann also beruhigt 2 „gute“ Consumer SSD‘s als „mirror“ betreiben, da meine Fotos ja ohnehin täglich extern gesichert werden?

ZFS+ECC ist extrem Safe, da würde ich mir keinen Kopf machen. ZFS erkennt ja wenn Bits kippen und fixt sie Automatisch, das genau das selbe wie BTRFS bei Synology.

Ok, danke!


LG

 

[besterino]

So pi mal Daumen seit 2016. Hab mit damals 4 der billigsten 256GB SSDs der Welt geholt, das waren SATA-ADATA, die ich im Raid0 hab laufen lassen. Das waren keine Performance-Wunder, aber die laufen immer noch.

 

[hs_warez]

Hm, klingt interessant.
Billige SSD‘s im Raid0 seit 2016 - mit welchem OS?

LG

 

[Trambahner]

Es kommt halt immer drauf an, was die SSDs für ne Last bekommen sollen.

Als Slog oder für NFS Syncwrites oder VMs die permanent draufschreiben taugen Consumer-SSDs (ausser Optane 800/900/905) nicht, für leichte Fileserveraufgaben kann man gute Consumer-SSDs fürs Homelab IMO durchaus in Betracht ziehen.
Dann aber bitte welche mit Dram-Cache und vertrauensfähige Marken+Modelle.

D.h. ich würde bei Sata für sowas z.B. eine 840Pro/850Pro/860Pro, 860Evo/870Evo in Betracht ziehen. Als Mediaspeicher wo meist immer nur gelesen evtl. sogar eine 870Qvo, wenns Richtung 4TB gehen soll.
Auffällig gewordene Modell, wo Altdaten langsamer nur noch zu lesen waren, würde ich meiden.
Für PCIe vmtl. sowas wie Samsungs 970Pro, 970EvoPlus, 980Pro, PM9A1, WD SN700, SN850 oder anderes mit Phison E16+E18. QLC-SSDs halte ich im PCIe-Bereich einfach zu teuer für das Gebotene.

Bei Datacenter hab ich bislang SM863, SM883 (beide Sata MLC) und PM9A3 (PCIe 4 TLC) im Einsatz. Die sind natürlich nicht mehr billig.
Die PM9A3 7.68 im Mirror ist mittlerweile für die tägliche Arbeit mein Standard-Arbeitspool. Mein HDD-Raidz2 dient nur noch als "lauwarm und cold Storage".
Gibt sicher noch viele andere bewährte Modelle.

Aber Billo-SSDs würde ich nur zum Experimentieren einsetzen. Als Test-SSDs, um mit Pools zu spielen usw.

 

[Ceiber3]

970Pro, 970EvoPlus, 980Pro, PM9A1, WD SN700, SN850

Würde da eher auf die IOPS und aud TBW schauen und gerade bei TBW haben die Samsung nicht besonders viel.

 

[Trambahner]

TBW: ja. Aber Samsung ist da früher immer sehr konservativ in den Angaben gewesen. Eine Samsung TLC mit Dram werde ich einer Billo, Dram-less oder QLC-SSD immer vorziehen.
Insgesamt muss man aber arg aufpassen, weil ja öfters mal Komponenten (Controller, Flash, Dram) ausgetauscht wurden/werden. Bei eigentlich jeder Marke.

Die meisten "Consumer" IOPS-Angaben (die ja auch noch mutmasslich mit leeren SSDs mit kurzen Benches ermittelt sind) helfen hier eher nicht, denn die QD übers Netz bekommste nicht als Fileserver im Homehoffice bei weitem nicht.
Wichtig dafür sind die IOPS im niedrigen QD-Bereich (1, 2, maximal noch 4) mit 4KB bis 128KB Größe. Bei einer QD1 mit 128K sieht man meist von den zig GB/s beworbenen Durchsätzen nur noch zwischen 2-2.5 GB/s. Nur wenige SSD schreiben oder Lesen da mehr wie 2,5GB/s . Siehe hier, da ist ein Vergleich 128KB sequentiell dabei.
Bis 128K ist hier deswegen auch wichtig, weil das die Standard ZFS-Blockgrößen sind. Die wenigsten haben große Blöcke bis 1M aktiviert und wenn mans als Arbeits-Storage nutzt, werden 1M-Blöcke eher die Minorität sein.

 

[hs_warez]

Na ja, die Last wird sich in Grenzen halten.
Auf dem SSD-Pool werden fix die Fotos liegen - hier werden phasenweise von 2 Personen die iPhone Fotos hochgeladen.

Ev. kommen noch die wichtigsten Dokumente drauf.

Hatte vorm TrueNAS im damaligen Notebook 4 Jahre lang eine Samsung Evo 850 2TB verbaut - da lief alles (OS, Programme, teilweise VM‘s, Fotos, ….) drüber - ohne Probleme.

Beim SSD-Pool wird nicht annähernd diese Last anliegen.

Hab kurz mal bei 850/860 Pro geschaut - sind ja nicht mehr neu und werden trotzdem noch ziemlich hoch gehandelt.
Sind da nicht 2 „normale“/neue SSD‘s sinnvoller?!

Im Auge hätte ich derzeit folgende (1TB):
Crucial MX500 / TBW 360 TB / 1.8 Mio Stunden / ca. € 85

Samsung 870 Evo / 600 / 1,5 / ca. € 100

WD Red SA500 NAS / 600 / 2,0 / ca. € 125

Seagate IronWolf 125 NAS / 1,4 PB / 1,8 / ca. € 180

Die Seagate fällt eigentlich schon eher aus dem Budget.


Samsung ist sicher nicht schlecht ( hatte bisher immer nur Samsung SSD‘s).
Kann man beruhigt € 15 sparen und die Crucisl nehmen, oder sollte man lieber € 25 mehr ausgeben und die WD NAS nehmen?!

IOPS sind bei allen eigentlich gleich angegeben.

Danke!

LG

 

[hs_warez]

So, nach lagen Hin- und Her ist es jetzt mal fixiert.

2x 960GB Seagate Nytro 1351 - habe ich neuwertig zu einem guten Preis bekommen - diese laufen als "mirror" und hier liegen meine wichtigsten Daten (Fotos) drauf - werden auch täglich von TrueNAS verschlüsselt an einen externen Server gesichert.

Zusätzlich kamen noch 2x 1TB Samsung 870 Evo als "mirror" rein - hier liegen meine restlichen Daten (Dokumente, ISO's, ......) drauf - wo es halt gut ist, wenn man schnellen Zugriff hat.

Die alten 6TB IronWolf's wurden durch 2 neue Seagate IronWolf Pro 4TB ersetzt, welche auch als "mirror" laufen - hier liegen nur mehr die Filme/Serien/MP3's drauf.


LG