Sinnloser ZFS Storage

[AliManali]

Hi

Habe im Moment einen ESXi Hauptserver mit napp-it, der vor allem Anwendungsserver macht (Computerspili, Hostingpanel, diverses halt). Da drin hängen ein paar SATA SSD an einer 8x 2.5" Backplane und eine HDD. 4 SSD direkt am Board – 2 SSD mit VMs per NFS an den Host sowie eine HDD für online Backups an einem Perc H310, durchgereicht an ein Solaris. Dazu zwei Bleche, mein Desktop hat auch ein paar SSD und zwei HDD verbaut.

Bin schon eine Weile Hardware am sammeln für einen zweiten grossen Server. C612 Board, CPU, 128 GB RAM, HBA, paar Consumer SSD für Host, Filer und sowas liegen noch rum. Die VM SSD habe ich noch nicht, da nehm ich dann wieder eine, zwei SM883 vom Chinamann. Mit denen habe ich gute Erfahrungen gemacht.

Nun habe ich vom Kumpel paar alte SAS HDD geerbt. Ich weiss, macht nur begrenzt Sinn, 7 Jahre alte Platten noch einzusetzen. Aber will haben Effekt ist halt da, und dient ja nur als zusätzliches Backup. Bislang brauche ich nicht so viel Platz. Die wirklich wichtigen Daten passen sogar auf meine Storage Box mit 1 TB.

Es werden halt Bleche und die zahlreichen VMs bislang noch nicht so wirklich gesichert. Die könnte man im Notfall sogar aus der Storagebox wieder neu aufsetzen.

Bekommen habe ich 12x 12 TB SAS Platten mit 4Kn Sektorgrösse. Weiss noch nicht, ob ich die Platten überhaupt so brauchen kann, oder ob ich die noch umformatieren muss. Aber das ist jetzt (noch) nicht das Thema, das werde ich demnächst sehen.

Ursprünglich wollte ich in den Haupserver 2 x 12 TB Mirrors machen, also Netto 2x 12 TB mit 4 Platten. Aber glaube, das braucht mir zu viel Strom 24/365. Von daher ist es denke ich besser, wenn ich z.B. 8 Platten in den Backupserver einbaue, der dann alle zwei Wochen mal für eine grössere Sicherungsaktion gestartet wird. Soll wieder ein ESXi mit napp-it/Solaris ZFS Filer werden.

Nur wie soll ich die Platten aufteilen? Am meisten Sinn würden für mich wohl 3x 12 TB Netto mit 6 Platten machen, wo pro Backupsession ein Pool beschrieben wird. Aber bin da unsicher. Vielleicht habt Ihr eine Idee, was ich da am besten mache. Wie gesagt, die Daten sind nicht lebenswichtig, mehr so ein haben wollen Ding.

Alle Bleche und VMs zusammen dürften atm knapp 10 TB haben. Mal sehen, ob und was ich davon dann sichere. Klassische Daten nur eine Handvoll, da gibt es keine Audio- oder Videosammlung.

Dürft mich gerne inspirieren!

Gruss und danke

 

[gea]

Für einen Backupserver würde ich einen Pool mit einem Z2 oder Z3 vdev machen.
Auf dem Hauptserver mit VMs halt ein Slog damit sync write mit hd pool halbwegs schnell sind, eventuell mit special vdev oder eben SSD only pool. für VMs und ein hd Pool für sonstiges.

 

[AliManali]

Hmm. Verstehe leider nur Bahnof. Also im Hauptserver habe ich am napp-it zwei 2TB SM883 für die VMs. Ausserdem eine WD RED Platte, vielleicht ersetze ich die dann gegen 2x 12 TB im Spiegel.

Beim neuen Server starte ich mal mit 3x zwei SAS Platten im Spiegel. Also 3 Pools mit je 12 TB aus 6 Platten. Für den Server bekomme ich auch noch eine SM883 480 GB für VMs am napp-it, welche an dem 3008er HBA hängt. Ausserdem direkt am Board Bootdrive und Filer Drive mit napp-it OS, auch zwei kleine SATA SSD.

Die 2 Platten im Hauptserver (sofern ich die überhaupt einbaue) und die 6 Platten im Backupserver dienen nur dazu, ausgeschaltete VMs per SMB (?) von den SSD zu archivieren. Der Backupserver wird halt alle zwei Wochen mal angeschmissen, oder im Worst Case halt, wenn der Hauptserver nicht mehr läuft. Bislang sichere ich die VMs am Hauptserver halt per MC auf die WD RED. Also wirklich Backupkonzept gibt es bislang noch gar nicht. Switch gibt es auch nicht, wenn ich dann was vom Server auf den Backupserver sichere/kopiere, wird das voll über die Firewall geroutet. Das kann ich atm nicht ändern leider, 10 Gbit Switch liegt echt nicht auch noch drin.

Z2, Z3 vdev, sync write und Slog alles schon mal gehört, aber glaube letzteres brauche ich nicht. Wie gesagt, die Daten (VMs vor allem) sind recht statisch. Wenn ich einen Pool aus zwei Platten im Mirror möchte, wäre das Z2?

Dann habe ich leider keine Ahnung, wie gut die bestehenden und neuen Platten/SSD noch sind. Bei den neuen SAS Platten dachte ich, ich häng den LSI 3008 mal an meinen Copilotensitz, und dann checke ich alle Platten mal unter Windows 11 mit Cristal Disk. Kann ich da gleich 8 Platten an den HBA hängen zum testen? Wie sehe ich, welche Platte ich gerade checke? Nehme an, die beiden SAS Strippen sind von 0-3 durch nummeriert. Das selbe gilt nacher für napp-it. Bei meinem bestehenden napp-it gibt es da nicht viel zu verwechseln. Die stecken halt in der Backplane, sind ja nur zwei, und ich weiss welche welche ist. Aber bei 12 Platten komme ich da ganz sicher durcheinander. Wie gesagt, würde die unter Windows halt einfach mal mit CristalDisk Info checken. Aber habe irgendwie keine Lust, da jedes Mal den Rechner herunter zu fahren und die Platten einzeln zu wechseln und durchnummerieren. Das Problem zieht sich dann weiter, wenn ich die guten/besten Platten zu napp-it wechsle dann. Das müsste schon von Anfang an systematisch angegangen werden.

Zu napp-it habe ich auch paar Fragen. Wie gesagt, Plan wäre alle paar Wochen mal den Backupserver anzuschmeissen, und die wichtigsten Daten per SMB (?) vom Hauptserver 1:1 rüber zu kopieren. So der Plan. Aber wie sehe ich, ob die Platten alle noch gute SMART Werte haben? Würde dazu das reichen?

Oder geht das auch ohne Lizenz?

Habe nur das gefunden:

Dafür biete ich die
1 napp-it Pro single extension für 2 Jahre und 50 Euro per Server oder
1 napp-it Pro complete (alle) Extensions von napp-it Pro für 2 Jahre und 100,-- Euro per Server oder
1 napp-it Pro complete, noncomercial home use, unbegrenzt gültig: 300 Euro einmalig
(inkl 2 Keys für den Homeserver und ein Backupsystem)

Also, dass ich da bisschen kopieren und den Status der Pools sehen kann, müsste ich mindestens 25 Euro pro Server und Jahr bezahlen? Da die 300 Euro müsste ich mir auch überlegen. Aber atm eher nicht, bin schon froh, wenn ich den 2. Server irgendwie hin kriege. Ausserdem ist die Schweiz nicht in der EU, da verkaufst Du nicht wirklich was hin für home-use? Läuft überhaupt nichts mehr kommerzielles auf dem Server, ganz im Gegenteil. Ich kann die Community mit Ach und Krach irgendwie am Leben erhalten *jammer*. Vielleicht Ende Jahr könnte ich mir 300 Euro aus den Rippen schneiden, wenn Du noch bisschen Überzeugungsleistung bringst. Ne Scherz beiseite, weiss nicht, wie lange ich noch bei ESXi bleibe, und ob sich das lohnt. Weil denke, in Zukunft wird es eh mal Richtung PVE gehen dann.

Gruss und danke @gea und all die Anderen. Bin da echt noch bisschen unschlüssig, wo die Reise hin geht.

 

[gea]

Für Smartwerte gibts Menü Disk > Smartvalues. Ist auch in der Napp-it Free Solaris Edition. Lediglich Replikation übers Lan geht nicht in der Free.

Napp-it cs hat unter Solaris/OmniOS nicht ganz den gleichen Funktionsumfang, ist aber noncomercial free bis zu 3 Server und kann Replikation any OS -> any OS (läuft auch unter Proxmox))

 

[AliManali]

Ha, super! Die 4kN Platten funktionieren anstandslos ohne umformatieren an einem LSI 3008. Bin die gerade mal unter Windows am selektieren.