Hilfe bei Backup-Strategie

[Zazzles]

Hallo zusammen,

ich habe mir vor einigen Jahren mit Hilfe der Community (vielen Dank nochmal!) einen Proxmox-Server zusammengestellt. Dieser läuft auch super.
Nur das Backup-Thema habe ich etwas "stiefmütterlich" behandelt, was sich nun aber ändern soll. Ich habe mir in den letzten Wochen schon viel den Kopf darüber zerbrochen, habe aber noch keine zufriedenstellende Lösung gefunden und drehe mich irgendwie im Kreis :-/

Erst mal zur aktuellen Ausgangslage:

• Proxmox Server (Supermicro X11SCH-F, i3-9100, 32GB RAM ECC) --> läuft auf 4 TB Lexar NVME mit folgenden Containern
  • LXC Paperless-ngx
  • LXC Jellyfin --> greift auf Urlaubsbilder & -videos von Nextcloud zu
  • LXC Nextcloud --> u.a. für Smartphone-Sync, Dokumente, Medien (siehe Jellyfin)
  • LXC Vaultwarden
  • LXC Pihole
  • LXC Bookstack
  • VM HomeAssistant
  • VM Ubuntu-VM mit Docker (u.a. Immich)
  • VM TrueNAS Core --> 3*8TB HDD im RAIDZ1
    
• N40L als Backup-Server mit TrueNAS Core ( 4 * 3TB im RaidZ1) --> da führe ich unregelmäßig (selten :-/) ein Backup des Proxmox-Servers durch

Zunächst war Nextcloud nur als Frontend gedacht, welche auf die TrueNAS-VM als externen Speicher zugreift. Das hatte jedoch zwei Nachteile:
a) war der Zugriff nicht wirklich performant und
b) ist der Stromverbrauch durch die 3*8TB-HDD ca. 20W in die Höhe gestiegen.
Natürlich hätte ich gerne Proxmox komplett auf ZFS. Meine Idee war daher, noch eine zweite 4 TB NVME SSD einzubauen (als ZFS-Mirror). Gute Idee? Ich weiß, RAID ist kein Backup, aber als "erste Sicherung" sicher nicht verkehrt, oder?

Es ist zusätzlich so, dass die 4 TB (durch Proxmox und die ganzen Container wahrscheinlich eher 2,5-3TB) für meinen kompletten Datenbestand nicht ausreichen. Ich möchte mir ungern 1-2 neue 8TB NVMe kaufen.
Von daher müsste ich wohl ein Hot/Cold-Storage-Architektur aufbauen:
1. Hot-Storage: Regelmäßig verwendete Daten sowie Handy-Backup in der Nextcloud auf dem NVME-ZFS-Mirror
2. Cold-Storage: Alle "alten" bzw. nicht häufig verwendeten Daten (RAW-Fotos etc.) auf der TrueNAS-VM
Ist das sinnvoll?

Ich hatte mir nun folgende Backup-Strategie überlegt, welche mir aber irgendwie umständlich vorkommt.

1) wöchentliches Backup aller Proxmox-Container auf Proxmox-TrueNAS-VM --> wird für Backup hoch- und anschließend wieder runtergefahren
- Ist das sinnvoll? da auf gleicher Maschine --> würde aber Schritt 2) einfacher machen, wegen ZFS Replication

2) Proxmox-TrueNAS-VM auf N40L-TrueNAS (wöchentlich nach 1)
- per ZFS Replication
- gesichert werden die Proxmox-Container + "Cold-Storage"-Dateien

3) Backup-TrueNAS auf USB-HDD (verschlüsselt)
Hier überlege ich noch, ob ich das Backup über ZFS-Pools machen soll oder per RSYNC. Beim Test mit Ubuntu gestaltet sich die Einbindung als etwas "un-intuitiv" über das Terminal (Pool Import, Load Encryption Key, Mount, etc.). Sollte meine bessere Hälfte mal die USB-Platte anschließen müssen, sehe ich schwarz. Von daher würde ich aktuell zu RSYNC tendieren incl. Verschlüsselung mit Veracrypt o.ä., sodass der Aufruf des Programms und die Passworteingabe ausreichen.

Ich finde den PBS auch sehr interessant. Ich weiß nur nicht, wo ich den "einbauen" soll...

Die obigen Backup-Szenarien (wenn 3) mit ZFS-Replication) haben aber den Pferdefuß, dass "nur" die Proxmox-Container gesichert werden, ich also nicht auf einzelne Dateien zugreifen kann, ohne vorher einen neuen Proxmox-Server aufzusetzen. Außerdem befindet sich alles in meinem Haus.
Hier würde höchstens Backup-Schritt 4 abhilfe schaffen:

4) verschlüsseltes Cloud-Backup auf Hetzner Storage Box
Aktuell habe ich eine Hetzner Storage Box mit 1 TB zum testen. Die Storage Box würde ich, falls das mit dem Backup gut funktioniert, auch auf 5 TB aufrüsten. Ich bin gerade dabei, den verschlüsselten Upload aus der Nextcloud zu testen. Hierbei bin ich mir unsicher, wie genau die Verschlüsselung sein soll. Tatsächlich auf Datei-Ebene (alle Dateien incl. Dateinamen verschlüsselt) oder als eine Art "Container" (dann aber wahrscheinlich nicht inkrementell). Zurzeit teste ich mit Borg Backup. Mal sehen was dabei raus kommt...
Gibt es auch dafür eine bessere Alternative?

Puuuhh....
Bis hierhin schon mal danke fürs Lesen. Ihr seht, dass mir gerade sehr viele Gedanken durch den Kopf gehen, wie ich mein Heim-Setup + Backup am besten aufsetze. Allein durch das Schreiben des Textes konnte ich schon mal meine Gedanken wenigstens etwas strukturieren. Dennoch glaube ich, dass ich das Ganze viel zu kompliziert angehe und evtl. auch etwas übersehe...

Was denkt ihr?


Vielen Dank & viele Grüße
Zazzles

 

[Supaman]

Hier mal ein paar Anregungen:

Aufteilung in Hot/Cold Storage: ja, unbedingt. Je weniger Hot Storage man vorhalten muss, desto einfacher (weil schlanker) das 24/7 System, und die daraus resultierende Backup Kette.

In Zeiten wo man 30 TB+ Datenträger kaufen kann, erzeugen Konstrukte mit 3 Platten im Raid unnötge Komplexität und erhöhen Fehleranfäligkeit und Stromverbrauch.

Ich würde keine Raid-5 laufen lassen, wenn Du da mal ein Problem hast, wird es schwierig bis unmöglich da was zu recovern. Besser Raid-1 (Mirror) oder sogar nur Single Drive, und dann regelmäßig Sync/Backup. Grade wenn sich nicht viel an den Daten ändert, ist Single Drive, aber dafür mit regelmäßiger Sicherung die bessere Variante.

Als erste Maßnahme würde ich einen Proxmox Backup Server als VM aufsetzen, einne kleinen Datenträger dazu stecken (notfalls per PCIe Adapter, oder per USB) und die Container per PBS Sichern. Weil: Internes Backup geht immer!

Mit entsprechend großer Platte könnte man auch das die TrueNAS Insanz per PBS sichern. Je weniger HotStorage, desto einfacher bzw preiswerter wird es hier.

Ein paar Infos zum Porxmox Backup Server:
Der PBS sichert die Backups als Datenblöcke (Chunks) und bildet darüber eine Hashumme, die gespeichert wird. Dadurch erfolgt beim sichern eine automatische deduplizierung, und nach der initialen ersten Sicherung wird nur noch inkrementell gesichert, also nur noch die geänderten Datenblöcke. Von dem Backup Datastore kann man einen Push/Pull Sync auf einen 2ten PBS laufen lassen. So könnte man also auch einen 2ten PBS per WOL aufwecken oder per Task starten lassen, Sync laufen lassen, herunterfahren. Weiterhin kann der PBS sowohl komplette VMs wieder herstellen als auch einzelne Files aus dem VMs wieder herstellen, FIlebrowser ist im GUI enthalten.

Der PVE kann die Daten an den PBS verschlüsselt senden, d.h. der PBS bekommt bereits verschlüsselte Daten geliefert, der Key ist nur auf dem PVE. Bedeutet, das man problemlos einen Sync auf einen externen PBS machen kann, ohne das jemand Zugriff auf die Daten hat.

Seit PBS v4.0 wird auch S3 kompatibler Storage unterstützt.

Und falls der Server mehr "wumms" braucht, Intel Xeon E-21xx / E-22xx gibt es inzwischen günstig in der Bucht.

 

[underclocker2k4]

Ich würde keine Raid-5 laufen lassen, wenn Du da mal ein Problem hast, wird es schwierig bis unmöglich da was zu recovern. Besser Raid-1 (Mirror)

Kann ich so halb unterschreiben.
RAID5 eigentlich nur noch, wenn man zusammenhängenden Storage braucht, der größer als 1 Platte ist.
Ist das nicht notwendig, dann immer RAID1.
Mit z.B. 16TB HDDs (und das ist ja eher midKapa) kommt man in der Regel auch sehr sehr weit, das im RAID1 erhöht die Verfügbarkeit.
Mit etwas "Glück" kann man bei einem Defekt des Systems die Platte auch überall lesen.
(HW und SW RAID können auf RAID5 remounten, nur ist das eben komplexer und man kann Fehler machen, ne Platte einzeln ist deutlich einfacher)

 

[gea]

Ich sehe zwei Probleme bei Raid-5
Da es kein Raid-5 mit modernem Copy on Write gibt, ist bei einem Crash während die Raid Stripes über die Platten geschrieben werden die Wahrscheinlichkeit hoch dass das Raid danach corrupt ist (nicht auf allen Platten geschriebene Raid Stripes). Man braucht Hardware Raid-5 mit BBU um das Risiko zu minimieren.

Da es kein Raid-5 mit echten Prüfsummen auf Daten und Metadaten gibt, kann in einem degraded Raid-5 mit anschließendem Lesefehler das Problem nicht eingegrenzt werden. Meist ist dann das ganze Raid-5 verloren. Ein großes Problem bei großen Arrays im höheren Terabyte Bereich. Allein die statistische Fehlerwahrscheinlichkeit sorgt dann dafür dass ein Totalverlust ein nicht extrem unwahrscheinlicher Fall sein wird.

Ansonst muss man bei Backups zuerst überlegen, welche Risiken man absichern möchte, z.B. Plattenausfall, Silent data errors, letzter Datenstand wiederherstellen, aus Versionierung wiederherstellen (Sabotage, Ransomware), Revovery laufender VMs oder Systeme, Feuer, Diebstahl, Zeit zum Wiederherstellen etc

 

[Zazzles]

Hallo zusammen,

vielen Dank für eure Rückmeldungen! Ich versuche das Ganze mal einzuordnen.

Aufteilung in Hot/Cold Storage: ja, unbedingt. Je weniger Hot Storage man vorhalten muss, desto einfacher (weil schlanker) das 24/7 System, und die daraus resultierende Backup Kette.

Ok, dann werde ich das erst mal so beibehalten bzw. so weiter ausbauen.

Zum Thema Raid5 (was sich, so wie ich es verstanden habe, auf meine TrueNAS-VM sowie mein N40L bezieht):

In Zeiten wo man 30 TB+ Datenträger kaufen kann, erzeugen Konstrukte mit 3 Platten im Raid unnötge Komplexität und erhöhen Fehleranfäligkeit und Stromverbrauch.

Ich würde keine Raid-5 laufen lassen, wenn Du da mal ein Problem hast, wird es schwierig bis unmöglich da was zu recovern. Besser Raid-1 (Mirror) oder sogar nur Single Drive, und dann regelmäßig Sync/Backup. Grade wenn sich nicht viel an den Daten ändert, ist Single Drive, aber dafür mit regelmäßiger Sicherung die bessere Variante.

RAID5 eigentlich nur noch, wenn man zusammenhängenden Storage braucht, der größer als 1 Platte ist.
Ist das nicht notwendig, dann immer RAID1.

Ok, habe ich verstanden --> Mirror (für meinen Fall) besser als RAID5
Der Grund war tatsächlich, dass ich mehr Speicherplatz brauchte, als damals bezahlbar in einer Platte zu kaufen war. Daher RAID5, damit ich die 2 Platten zusammenschließen konnte.
Ich habe nur 8TB-HDDs, davon sind 5-6TB voll. Tendenz ist natürlich steigend (u.a. bin ich Hobbyfotograf). Brauchbare 12-16 TB HDD kosten 250-300 €, also 500-600 €. Das überlege ich mir mal. Die HDDs der TrueNAS-VM sind ca. 5 Jahre alt und die aus dem N40L sogar schon 12 Jahre

Ansonst muss man bei Backups zuerst überlegen, welche Risiken man absichern möchte, z.B. Plattenausfall, Silent data errors, letzter Datenstand wiederherstellen, aus Versionierung wiederherstellen (Sabotage, Ransomware), Revovery laufender VMs oder Systeme, Feuer, Diebstahl, Zeit zum Wiederherstellen etc

Ja, am liebsten natürlich alles, von daher meine Frage nach einer funktionalen (Backup-)Strategie.

1. ZFS --> Versionierung, letzter Datenstand
2. Backup auf TrueNAS-VM --> Plattenausfall der NVME + Cold-Storage
3. Backup auf N40L --> ALLE Daten (Hot&Cold) nochmal auf anderes Blech gesichert, falls der Proxmox-Server komplett abraucht.
4. Online-Backup meiner wichtigsten Daten --> Falls mir die Bude abfackelt
5. USB-HDD mit allen Daten (die würde ich ein paar wenige Male im Jahr anschließen und bei meinen Eltern lagern) --> Falls mir die Bude abfackelt

Auf der einen Seite finde ich die Strategie nicht schlecht, auf der anderen Seite ist es aufwändig und vielleicht auch etwas overkill. Mit dem Online-Backup hätte ich ja auch irgendwie alles erschlagen (bis auf das Thema "alle Daten")....

Zum PBS:

Als erste Maßnahme würde ich einen Proxmox Backup Server als VM aufsetzen, einne kleinen Datenträger dazu stecken (notfalls per PCIe Adapter, oder per USB) und die Container per PBS Sichern. Weil: Internes Backup geht immer!

Das bekomme ich hin. Dann kann ich damit mal testen. Muss mich dann nochmal genauer mit dem PBS-Konzept vertraut machen.

Was sagt ihr zur Idee, den PVE auf 2x 4TB NVME mit ZFS zu betreiben (also PVE + VMs/LXCs auf dem Mirror)?

Und falls der Server mehr "wumms" braucht, Intel Xeon E-21xx / E-22xx gibt es inzwischen günstig in der Bucht.

Ich würde vorerst höchstens auf 64GB RAM erweitern wollen. Von der Power her sollte der i3-9100 erst mal noch reichen. Aber danke für den Tipp! Ich schaue mir mal ein paar Vergleiche an. Vielleicht ergibt sich ja doch etwas ;-) Ich muss nur auf den Stromverbrauch schauen....

VG
Zazzles

 

[Luckysh0t]

Sollten dir 150 GB für die reinen VM/LXC reichen, kann ich dir das kostenlose 150 GB Angebot von https://www.tuxis.nl/de/proxmox-backup-server/ empfehlen. Nutze ich seit ein paar Jahren - verschlüsselt. Als zweiten PBS habe ich das PBS Paket auf meinem PVE installiert und dieser holt sich das ganze als sync Job vom tuxis PBS - so brauche ich meine OPNSense nicht dafür öffnen.

Und meine wichtigen Daten sichere ich mittels einer Syncovery (Vorteil für mich: Jede Datei ist ein verschlüsseltes Zip Archiv, somit kommt man im dringendsten Fall auch ohne große laufende Infra an die Daten ran) VM verschlüsselt auf eine Hetzner Storage Box.

 

[Zazzles]

Hi @Luckysh0t ,

beides sehr interessante Lösungen, gefällt mir
Gerade die zweite Lösung klingt vielversprechend und einfacher zu handhaben als Borg oder Restic (da mit webgui). Das werde ich mir auf jeden Fall mal ansehen und testweise installieren. Auch die einmaligen 70 € sind für mich vertretbar, wenn ich dadurch mit einfachen Mitteln meine Daten verschlüsselt in der HSB speichern kann.

Danke & Gruß
Zazzles

 

[Luckysh0t]

Auch die einmaligen 70 € sind für mich vertretbar, wenn ich dadurch mit einfachen Mitteln meine Daten verschlüsselt in der HSB speichern kann.

Hi,
das dachte ich mir auch, nachdem ich mit duplicati dank des proprietären Kontainerformats mal Probleme hatte, war ich auf der Suche nach etwas anderen und bin auf der Arbeit dann darauf gestoßen.

Allerdings überlege ich von der Linux Version auf die Windows Version zu wechseln diese scheint mir regelmäßiger aktualisiert und verbessert zu werden - denke mal das wird häufiger gekauft bei ihm. Eine Windows VM mehr oder weniger macht es in meinem Fall auch nicht fett ^^.

Hatte auch schon Kontakt mit dem Entwickler, weil mir ein Fehler in seinem entpackprogramm für das eigene Format aufgefallen ist - hat er noch am selben Tag behoben.