[Sammelthread] 10Gbit Homenetzwerk

[Zeitmangel]

@Dwayne_Johnson
Wenn du das mit den "200" jetzt regelst, kann es sein, daß du dann keine 10Gbit mehr brauchst?

 

[Dwayne_Johnson]

Lösung?
ZFS nehmen und Backup mit inkrementeller ZFS Replikation.
Beim ersten Lauf wird das komplette NAS gesichert, beim nächsten Lauf nur die geänderen Datenblöcke auf ZFS Snap Basis übertragen. Sind da keine Änderungen dauert der Backup sync wenige Sekunden selbst bei 100TB Storage und 100 Millionen Dateien,

Wenn zb ein File in zb 10 verschiedenen Backups 10 mal vorhanden ist und die ZFS Replikation 9 identische Files löscht, erkennt ZFS die 10 Backups immer noch als 10 „vollwertige“ Backups an? Also ist „das eine File“ quasi 10 mal mit den Vollbackups „verknüpft“? Hab mich ehrlich gesagt noch nie mit ZFS auseinandergesetzt

Beitrag automatisch zusammengeführt: Heute um 12:24

@Dwayne_Johnson
Wenn du das mit den "200" jetzt regelst, kann es sein, daß du dann keine 10Gbit mehr brauchst?

…sondern?

 

[gea]

Man könnte auch eine Soft empfehlen die archiviert. Archive (also ohne Kompression) lassen sich massiv besser retten, sollte was damit sein. Exemplarisch in der Kategorie, TAR (ohne gz ohne bz2).

Tar haben zunächst keine Prüfsummen auf den enthaltenen Daten. Ramfehler, Kabelprobleme oder bitrot können dann Datenfehler verursachen, die nicht erkannt werden. Sind also für Archivierung nicht ideal es sei denn das darunterliegende Dateisystem kann Daten Prüsummen, idealerweise mit autorepair bei erkannten Problemen.

@Dwayne_Johnson
ZFS Replikation löscht keine Datenkopien. Man könnte allenfalls Fast Dedup aktivieren. Das arbeitet in Echtzeit und speichert Datendupletten nur einmal. Der RAM Bedarf und die Geschwindigkeitseinbußen sind im Gegensatz zu älterem ZFS Dedup überschaubar und limitierbar.

Ansonsten ist ZFS ein Copy on Write Dateisystem. Jeder ZFS Snap ist damit eine volle Ansicht des gesamten Dateisystems zum Zeitpunkt der Snaperstellung. Jeder Snap blockiert lediglich den Platz den die geänderten Datenblöcke im Vergleich zum vorherigen Snap belegen. 10000 Snaps ohne Datenänderung benötigen keinen Platz. Ein Snap wird ohne Zeitverzug erstellt. Den Snap kann man durchsuchen um beliebig einzelne Dateien aus dem Snap wiederherzustrellen. Daneben bietet ZFS rollback (Zurücksetzen eines Dateisystems auf den Snap mit Löschen nachfolgender Snaps) sowie Clone. Das ist das bereitstellen eines Snaps als normales read/write Dateisystem.

Im Vergleich zu "alten Dateisystemen" ist ZFS eine Offenbahrung was Storage Sicherheit und Features angeht.

 

[Dwayne_Johnson]

Der Erste und Einzige bei Alibaba, der davon schrieb. Es ging um diesen Adapter...

https://www.alibaba.com/product-detail/10GbE-USB-C-Ethernet-Adapter-USB3_1601581141447.html

Der andere "Ali" hat damit anscheinend keine Probleme (siehe weiter oben). Nur nicht ganz so günstig

Beitrag automatisch zusammengeführt: Heute um 15:54

@gea
Aber hab ich das richtig verstanden?
Wenn ich zb 10 verschiedene "offene" Backups habe, in denen Files x mal vorkommen, dass diese mit ZFS nur noch einmal gehalten werden, aber diese 10 Backups trotzdem vollwertig sind, weil jedes Backup auf dieses File zugreifen kann? Bei Upload-Hostern (oder Foren) wäre das äusserst sinnvoll, wenn zb 1 Mio. User das exkakt gleiche Bild hochladen

btw:
Momentan nutze ich BTRFS wegen Performance und bitrot-detection (erstellt Checksummen aller Daten)