NAS - MD/RAID - 13x 2GB + 1x 3GB, RAID 6 14x 2GB

[Goderion]

Hallo.
Ich baue gerade mein altes NAS um und wollte mir hier nochmal ein paar Tips und Hinweise holen.

Das alte NAS bestand aus:
1x 500GB für Linux/Ubuntu
12x 2TB RAID 6
1x CD-ROM

Das "neue" NAS soll bestehen aus:
1x 3TB für Linux/Ubuntu (1TB) und RAID 6 (2TB)
13x 2TB für RAID 6

Ich möchte ein RAID 6 (Linux Software RAID - MD/RAID) über 14x 2TB Partitionen/Platten aufbauen. Ist das denn möglich und sinnvoll, eine Festplatte gleichzeitig als OS-Platte und RAID-Platte zu nutzen?

Wenn das funktioniert, könnte ich mir vorstellen, dass das Nutzen einer Platte für OS und RAID gleichzeitig eventuell die Performance senken könnte. In der alten Konfiguration erreichte ich meist Schreibgeschwindigkeiten um die 80 MB/s, was mir vollkommen gereicht hat. 60 MB/s wären auch noch in Ordnung.

EDIT: natürlich TB und nicht GB.

 

[fard dwalling]

Ich würde das OS immer als RAID 1 konfigurieren und die Daten dann auf ein RAID 5/6.

Aber du meinst wahrscheinlich auch TB statt GB oder?

 

[Goderion]

Wozu das OS auf ein RAID 1? Wenn die Platte mit OS kaputt geht, sind die Daten/RAID ja nicht verloren, oder? Fände ich irgendwie absurd, wenn man das RAID dann nicht mit einer neuen Linux-Installation einfach wiederherstellen könnte.

Es ist kein 24/7 NAS oder sonderlich wichtig. Es dient nur als Backup was nur wenige male pro Monat eingeschaltet wird. Die darauf befindlichen Daten sind entweder nochmal woanders gesichert (z.B. private Aufnahmen) oder sonst irgendwie anderweitig verfügbar.

Ja, meine TB.

 

[deveth0]

Ja kannst schon so machen. Aber eigentlich kannst du auch auf das 1tb verzichten und Linux auch direkt auf das Raid 6 installieren.

 

[Goderion]

Wie soll das denn gehen? Ich brauche doch ein Linux, damit ich überhaupt ein RAID erstellen kann, bzw. das RAID geladen wird. Es geht hier um ein reines Software-RAID.

 

[deveth0]

Du kannst bei der Installation bereits das Raid anlegen und dann auch als Ziel nutzen. Wie sonst sollte man ein Linux zb auf ein Raid1 installieren?

 

[Digi-Quick]

Du hast also ein unbekanntes Teil mit 14 SATA Ports.....

Ich würde da einfach neue und grössere und dafür weniger HDDs holen, z.B. 8x4TB = Stromersparnis (bei wenigen kurzen Betriebszeiten natürlich eher weniger relevant) und wieder problemlose Erweiterbarkeit in der Zukunft.
die 2TB HDDs sind wie alt?
So nach 5 Jahren sollte man generell an Austausch denken - egal wie lange und wie oft die HDDs gelaufen sind!

Unabhängig davon, ob das MD Raid von Linux das kann, würde ich das OS komplett vom Datenraid getrennt halten. Raucht dir bei deinem Konfigurationswunsch die Systemplatte ab, hättest du deutlich mehr Möglichkeiten Fehler beim Wiedereinrichten zu machen
Notfalls richtet man das System auf einer SSD an USB ein.
Im übrigen habe ich noch nie gehört, daß man für eine Linux Installation 1 TB verschwendet *fg*

 

[Goderion]

Du hast also ein unbekanntes Teil mit 14 SATA Ports.....

4 Seagate BarraCuda EcoGreen F4 2TB, SATA 3Gb/s (ST2000DL004/HD204UI)
8 Samsung EcoGreen F3 2TB, SATA 3Gb/s (HD203WI)
1 AMD Athlon II X2 240, 2x 2.80GHz, boxed (ADX240OCGQBOX)
1 G.Skill NT Series DIMM Kit 4GB, DDR3-1333, CL9-9-9-24 (F3-10600CL9D-4GBNT)
1 Intel SASUC8I, PCIe x8
1 ASRock M3A785GXH/128M
1 Sharkoon Rebel12 Economy schwarz (6991)
1 be quiet! Pure Power L7 530W ATX 2.3 (L7-530W/BN106)

Ich würde da einfach neue und grössere und dafür weniger HDDs holen, z.B. 8x4TB = Stromersparnis (bei wenigen kurzen Betriebszeiten natürlich eher weniger relevant) und wieder problemlose Erweiterbarkeit in der Zukunft.
die 2TB HDDs sind wie alt?
So nach 5 Jahren sollte man generell an Austausch denken - egal wie lange und wie oft die HDDs gelaufen sind!

Die gesamte Hardware für das NAS ist bereits vorhanden und würde sonst nur nutzlos rumliegen. Neues wird dafür nicht gekauft.

Unabhängig davon, ob das MD Raid von Linux das kann, würde ich das OS komplett vom Datenraid getrennt halten. Raucht dir bei deinem Konfigurationswunsch die Systemplatte ab, hättest du deutlich mehr Möglichkeiten Fehler beim Wiedereinrichten zu machen

Jo, hier muss ich nu gucken, ob sich das für 2 TB mehr lohnt.

Notfalls richtet man das System auf einer SSD an USB ein.

Wäre ne Idee, habe aber gerade leider keine SSD über, bzw. werde dafür keine 512 GB SSD "verschwenden".

Im übrigen habe ich noch nie gehört, daß man für eine Linux Installation 1 TB verschwendet *fg*

Was soll ich sonst mit dem restlichen Platz machen? Soweit ich weiß, sind im Linux Software RAID alle Partitionen gleich groß, also 14x 2TB. Wenn ich jetzt eine 3TB Platte verbaue, damit ich da OS und RAID-Partition drauf packen kann, bleiben halt einfach 1 TB für das OS über.

 

[Falo999]

Bei so alten Platten würde ich mir sehr gut überlegen aus 13 Platten ein Raid 5/6 zu machen ich halte die Gefahr für einen Datenverlust EXTREM hoch.
Und sollte die ersten Platte ausfallen stehen die Chancen sehr gering das die restlichen 12 Platten ein Rebuild der defekten überstehen (Stichwort : Nicht korrigierbare Lesefehler pro gelesenen Bits, 1/10^14 oder 1/10^15)
Vorallen weil es ja eh keine NAS Platten sind weil da halt die Softwarefunktionen für Raid abgeschaltet sind die für eine bessere Fehlerbehandlung sorgen sprich die HDD wird nicht sofort aus den Verband gekickt wenn sie kleinste Verzögerungen hat.

Ich würde mich mal mit den Thema 'Snapraid' beschäftigen hat halt den Vorteil das immer nur eine Platte arbeiten muß und nicht alle 13 bei jeden schreibe/Lese zugriff.
Spart dadurch natürlich Strom und schont die Platten.

 

[Digi-Quick]

Größere HDDs dürften vermutlich an dem SAS Controller scheitern, soweit ich mich entsinne kann der nur HDDs bis 2 TB.

Die Ecogreen HDDs sind auch eher Desktop Platten und dazu "uralt"- zu dem damaligen Zeitpunkt, wo die auf dem Markt gekommen sind war die Unterscheidung zwichen Desktop, NAS (Raid) und Enterprise HDDs allerdings noch nicht so Groß wie es heute der Fall ist, daher würde ich diese nicht als komplett ungeeignet ansehen wegen 12 oder mehr HDDs in einem Gehäuse. (An einem echten Raidcontroller hat sich bei mir damals des Feature "Ecogreen" als Performance-/Spassbremse gezeigt, aber das ist ein anderes Thema.)

Ob TLER etc. für ein Softwareraid (MD-Raid) relevant ist, weis ich nicht, bei ZFS jedenfalls nach meiner Recherche nicht.

zum Thema USB Boot:
selbst 500 GB ist für Linux eher zuviel, 128 GB ist meist vollkommen ausreichend.

P.S. 2 TB Platten sind im Vergleich zu 4 TB Platten deutlich teurer - bezogen auf den Preis pro TB

P.P.S: wenn du dein bestehendes Raid aus 12 HDDs um 2 HDDs erweiterst erzeugt das eine erhebliche Last auf deinen alten HDDs - mindestesn vergleichbar mit einem Rebuild, eher noch höher! Da darfst du dann zum lieben Gott beten, daß dir währenddessen keine HDD(s) aussteigen. (Es könnte natürlich sein, daß du das Raid neu aufbaust, und die Datensicherung einspielst.....)

 

[Trambahner]

Steinalte Platten, kein SAS-Chipsatz der aktuelle Platten kann, kein ECC, kein ZFS mit ordentlich Prüfsummenschutz => Btw, Wie siehts mit Backups der Daten aus?
Energieeffizient ist das mit den vielen relativ kleinen Platten auch nicht; da hilft auch kein "Ecogreen".
80 MB/s? Wenn das sequentiell lokal auf der Maschine ist, gibt es wo ein ganz essentielles Problem oder Bottleneck.
OS gehört nicht auf Datenplatten; wurde ja schon erwähnt.

Ich hoffe, da liegen keine essentiellen Daten auf dem Raid... wenn da Daten sind, welche unter keinen Umständen weg sein sollen => geeignete Hw neu beschaffen und weg mit dem alten Zeug.

 

[Holt]

Falo999, er hat doch ein RAID 6, da sollte ein Rebuild nicht an der UBER scheitern. Die HDDs sind aber als einfache Desktopplatten sowieso nicht für den Einsatz so vieler HDDs in einem Gehäuse gedacht (der Vibrationen wegen) und sie dürften die 5 Jahre Nutzungsdauer für die HDDs üblicherweise ausgelegt sind, auch schon hinter sich haben.

Trambahner, auf den Platte ist das Backup für andere Rechner, steht doch im Post #3.

 

[konfetti]

Die Frage ist ja, welches Linux das werden soll?
Es gibt an sich ja genau für solche Fälle - ohne Ende - passende Distributionen, die durchaus auf einen Stick mit 4/8GB passen - davon dann noch eine Kopie und gut, zumal die Kiste ja eh nur bei bedarf eingeschaltet wird.

Es geht also nur darum ein Cold-Storage etwas aufzuhübschen, dafür gleich was neues zu kaufen halte ich nicht unbedingt für Zielführend...
die 3TB Disk würd ich mir auch schenken und eher für eine USB-Platte als zusätzliches Offline-Backup verwenden und einfach bei der installation entweder eine passende Distribution wählen oder eben bei einem Linux gleich da das RAID einrichten - geht übrigens Problemlos, hatte ich für unseren Steam-Cache mal gemacht.

 

[gea]

Statt einem einfachen mdraid könnte man unter Ubuntu das Raid auch als moderneres ZFS Raid-Z2 einrichten und verwalten. Man braucht dabei auch gleich große Platten da es sich auch um Echtzeit-Raid handelt. Die Verwaltung des Raid ist mit ZFS aber eher einfacher, man erhält zusätzlich einen Schutz gegen stille Datenfehler wegen der Prüfsummen auf Daten/ Metadaten, dazu Snapshots/ Versionierung und ein robusteres Verhalten beim Crash (kein korruptes Dateisystem falls das System beim Schreiben abstürzt/ kein Write Hole Problem wie man es bei einem herkömmlichen Hardware/Software Raid befürchten muss), siehe "Write hole" phenomenon in RAID5, RAID6, RAID1, and other arrays.

 

[Morpheuz]

Also ich hatte mal ein richtiges R5 mit 8 Ecogreen F4 2TB Platten und die Performance war eher gut als schlecht (400-500MB/s Lesen/Schreiben).
Mir ist auch keine der Platten abgeraucht. 2 von den 8 platten habe ich noch im Einsatz (35000 bis 40000h), die anderen wurden verkauft für den Umstieg auf größere Platten.

 

[Goderion]

Danke für die vielen Hinweise und Tips!

Für das OS wird Ubuntu 18.04 eingesetzt. Habe gerade getestet, es auf einen 16GB-USB-Stick zu installieren. Der Ubuntu-Installer hat einfach eine 16GB Partition erstellt, keine Swap. Lief gefühlt langsamer als die vorige HDD-Installation. Ich bekomme morgen einen 32GB-USB-Stick, da werde ich das nochmal testen, dieses mal aber selber partitionieren, damit auch eine SWAP-Partition existiert.

Ich gucke mir gerade diese ZFS Raid-Z2 an. Würde ja auch passen, nehme jetzt 14x 2TB Platten und Ubuntu auf USB-Stick. Am liebsten würde ich ZFS Raid-Z mit drei Paritätsplatten benutzen, ist das ZFS Raid-Z3?

Gibt es Nachteile bei ZFS Raid-Z2 (bzw. Z3) gegenüber mdraid (RAID 6)?

 

[Gelöschtes Mitglied 117520]

Gibt es Nachteile bei ZFS Raid-Z2 (bzw. Z3) gegenüber mdraid (RAID 6)?

Ja, du kannst den RAID (aktuell noch) nicht erweitern.

 

[gea]

Am liebsten würde ich ZFS Raid-Z mit drei Paritätsplatten benutzen, ist das ZFS Raid-Z3?

Ja

 

[Trambahner]

Die 4GB Ram dürften etwas sehr knapp bemessen sein für ZFS-Einsatz. Zumindest wenn die Performance gut sein soll. Ich denke, das wird damit laufen aber Spaß macht es vmtl. nicht.
Denn wenn man den Bedarf für das Betriebssystem abzieht, bleibt nicht viel für den ARC (@Goderion: das ist das Caching-System von ZFS, aus dem es die Performance holt)
Obs als selten genutztes Backupsystem hinreichend schnell ist, müsste man ausprobieren.

 

[Goderion]

Ja, du kannst den RAID (aktuell noch) nicht erweitern.

Das macht in meinem Fall nix, mehr als 14 Platten passen eh nicht rein. Wenn es sonst keine Nachteile gibt, werde ich ZFS Raid-Z3 nutzen.

Die 4GB Ram dürften etwas sehr knapp bemessen sein für ZFS-Einsatz. Zumindest wenn die Performance gut sein soll.

Sollte es mir zu langsam sein, besorge ich mir mehr RAM.
2x Corsair ValueSelect DIMM 4GB, DDR3-1333
30 Euro für 8 GB (2x 4GB) würde ich da schon noch investieren.

 

[Digi-Quick]

Das macht in meinem Fall nix, mehr als 14 Platten passen eh nicht rein.

Also ich würde ind Rebel 12 20 HDDs reinbekommen (und hätte das von Anfang an so eingeplant)
4x 5in3 Backplanes = 20
Der externe 3,5" Schacht fällt dabei natürlich weg

Eigentlich Schade, daß es das Gehäuse nicht mehr gibt - war wohl zu billig, das Rebel 9 Value empfand ich leider als qualitative Katastrophe

 

[Goderion]

Vielen Dank für die Hinweise/Infos.

4x 5in3 Backplanes = 20

Werden die Platten dann nicht zu warm mit der Zeit? Bei mir ist zwischen den Platten immer etwas Luft und ein Lüfter, dadurch bleiben die auch bei starker Belastung unter 40°C.

Das NAS läuft jetzt gut und ich "befülle" es gerade mit ca. 95 MB/s.
Die USB-Stick Variante konnte ich leider nicht umsetzen, denn sobald ich eine Festplatte über den Intel SASUC8I angeschlossen habe, konnte ich nicht mehr von einem USB-Stick booten, warum auch immer. Jetzt ist Ubuntu auf einer 3 TB Platte installiert, wovon 2 TB mit zum ZFS-Raid-Z3 gepackt wurden.

Das ZFS-Raid-Z3 gefällt mir bis jetzt sehr gut, nochmals vielen Dank an gea für den Tip! Die Schreibperformance vom "neuen" ZFS-Raid-Z3 14x 2TB ist mindestens so gut wie von meinem alten mdraid RAID6 mit 12x 2TB. Das ZFS-Raid-Z3 muss auch beim Einrichten nicht erstmal alle Platten durchorgeln, bevor man mit dem "Befüllen" beginnen kann. Mehr RAM scheine ich auch nicht zu brauchen. Vermutlich ist das nur notwendig, wenn man mehr auf einem ZFS-Raid arbeitet, ich kopiere ja nur simpel eine Datei nach der anderen.

 

[Digi-Quick]

Werden die Platten dann nicht zu warm mit der Zeit? Bei mir ist zwischen den Platten immer etwas Luft und ein Lüfter, dadurch bleiben die auch bei starker Belastung unter 40°C.

Jede der Backplanes hat eigene Lüfter, allerdings i.d.R. nur 80er oder 92er, was in der Summe dann nicht gerade leise zu nennen ist

Die USB-Stick Variante konnte ich leider nicht umsetzen, denn sobald ich eine Festplatte über den Intel SASUC8I angeschlossen habe, konnte ich nicht mehr von einem USB-Stick booten, warum auch immer.

Das ist in der Tat merkwürdig, die Bootreihenfolge legt man ja im BIOS fest, möglicherweise drängelt sich hier das BIOS vom SASUC8I vor?

Jetzt ist Ubuntu auf einer 3 TB Platte installiert, wovon 2 TB mit zum ZFS-Raid-Z3 gepackt wurden.

Kann man so machen, ist aber sicherlich nicht das Gelbe vom Ei.

 

[Goderion]

Das ist in der Tat merkwürdig, die Bootreihenfolge legt man ja im BIOS fest, möglicherweise drängelt sich hier das BIOS vom SASUC8I vor?

Ja, sehr sehr merkwürdig, verstehe ich auch kein Stück. Einiges probiert, verschiedene Boot-Sticks (Ubuntu, Ubuntu-Setup, Windows-Setup), BIOS Bootreihenfolge umgestellt. Selbst wenn ich im BIOS nur USB-Boot einstelle, bootet er nicht mehr per USB, sobald eine Platte am SASUC8I ist. Auch per Boot-Menü (F11) nützt das Auswählen vom USB-Stick nix, geht einfach nicht weiter.

Kann man so machen, ist aber sicherlich nicht das Gelbe vom Ei.

Jo, Ubuntu auf USB-Stick wäre mir auch lieber.