[Sammelthread] 10Gbit Homenetzwerk

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Lösung?
ZFS nehmen und Backup mit inkrementeller ZFS Replikation.
Beim ersten Lauf wird das komplette NAS gesichert, beim nächsten Lauf nur die geänderen Datenblöcke auf ZFS Snap Basis übertragen. Sind da keine Änderungen dauert der Backup sync wenige Sekunden selbst bei 100TB Storage und 100 Millionen Dateien,
Wenn zb ein File in zb 10 verschiedenen Backups 10 mal vorhanden ist und die ZFS Replikation 9 identische Files löscht, erkennt ZFS die 10 Backups immer noch als 10 „vollwertige“ Backups an? Also ist „das eine File“ quasi 10 mal mit den Vollbackups „verknüpft“? Hab mich ehrlich gesagt noch nie mit ZFS auseinandergesetzt
Beitrag automatisch zusammengeführt:

@Dwayne_Johnson
Wenn du das mit den "200" jetzt regelst, kann es sein, daß du dann keine 10Gbit mehr brauchst? :hmm: :angel:
…sondern?
 
Man könnte auch eine Soft empfehlen die archiviert. Archive (also ohne Kompression) lassen sich massiv besser retten, sollte was damit sein. Exemplarisch in der Kategorie, TAR (ohne gz ohne bz2).
;)
Tar haben zunächst keine Prüfsummen auf den enthaltenen Daten. Ramfehler, Kabelprobleme oder bitrot können dann Datenfehler verursachen, die nicht erkannt werden. Sind also für Archivierung nicht ideal es sei denn das darunterliegende Dateisystem kann Daten Prüsummen, idealerweise mit autorepair bei erkannten Problemen.

@Dwayne_Johnson
ZFS Replikation löscht keine Datenkopien. Man könnte allenfalls Fast Dedup aktivieren. Das arbeitet in Echtzeit und speichert Datendupletten nur einmal. Der RAM Bedarf und die Geschwindigkeitseinbußen sind im Gegensatz zu älterem ZFS Dedup überschaubar und limitierbar.

Ansonsten ist ZFS ein Copy on Write Dateisystem. Jeder ZFS Snap ist damit eine volle Ansicht des gesamten Dateisystems zum Zeitpunkt der Snaperstellung. Jeder Snap blockiert lediglich den Platz den die geänderten Datenblöcke im Vergleich zum vorherigen Snap belegen. 10000 Snaps ohne Datenänderung benötigen keinen Platz. Ein Snap wird ohne Zeitverzug erstellt. Den Snap kann man durchsuchen um beliebig einzelne Dateien aus dem Snap wiederherzustrellen. Daneben bietet ZFS rollback (Zurücksetzen eines Dateisystems auf den Snap mit Löschen nachfolgender Snaps) sowie Clone. Das ist das bereitstellen eines Snaps als normales read/write Dateisystem.

Im Vergleich zu "alten Dateisystemen" ist ZFS eine Offenbahrung was Storage Sicherheit und Features angeht.
 
Der Erste und Einzige bei Alibaba, der davon schrieb. Es ging um diesen Adapter... :cautious:
Screenshot 2026-02-04 152925.png
Der andere "Ali" hat damit anscheinend keine Probleme (siehe weiter oben). Nur nicht ganz so günstig
Beitrag automatisch zusammengeführt:

@gea
Aber hab ich das richtig verstanden?
Wenn ich zb 10 verschiedene "offene" Backups habe, in denen Files x mal vorkommen, dass diese mit ZFS nur noch einmal gehalten werden, aber diese 10 Backups trotzdem vollwertig sind, weil jedes Backup auf dieses File zugreifen kann? Bei Upload-Hostern (oder Foren) wäre das äusserst sinnvoll, wenn zb 1 Mio. User das exkakt gleiche Bild hochladen

btw:
Momentan nutze ich BTRFS wegen Performance und bitrot-detection (erstellt Checksummen aller Daten)
 
Zuletzt bearbeitet:
Was heisst "offen" bei Backups?

Aber ansonsten ist Dedup grds. Dein Feature auf der Storage-Seite: vereinfacht ausgedrückt, liegen Doubletten in Deinen Backups dann nur 1x auf dem Server, die anderen 9 Doubletten liegen logisch auch da, zeigen aber tatsächlich dann nur auf die entsprechende Stelle und sagen "hey, das gehört auch zu mir". Umgekehrt wird der Platz auf dem Datenträger dann auch nur freigegeben, wenn die letzte von allen 10 Doubletten gelöscht wird.

Ich setze das genau aus dem Grund auch auf meinem "ultimativen Backup" so ein: über die Jahre x Backups von zig Dateien mit unterschiedlichen Zuständen erzeugt und irgendwann den Überblick verloren. Dann 2 fette 20TB Festplatten angeschafft, ZFS Raid1 (also 20TB netto), Dedup und alles stumpf drauf kopiert. Mein Pool behauptet mittlerweile, er hätte eine "Kapazität" von 30TB einfach weil zig Daten eben Doubletten sind. :d Ist zwar mit Dedup nicht wirklich flott, aber das ist mir ziemlich egal weil de facto cold storage: write once alle Jubeljahre, read never. ;)

All das löst aber Dein Übertragungsproblem nicht: Wenn ich Deine Herausforderung richtig verstanden habe, musst Du zusätzlich das bei einem Backup-Lauf zu übertragende Datenvolumen reduzieren. Ich habe daher bei meinen live-daten rigoros ausgemistet und alles, was nun einmal in mein großes Backup gegangen ist, an allen anderen Orten gelöscht.

Mein persönliches Thema ist dann noch, dass mein großes Backup auf original Solaris 11.4 läuft/liegt. Mittelfristig müsste ich ein neues Backup anlegen auf Basis von OpenZFS, damit ich dann auch wieder ZFS Replikation von meinem Main-Storage nutzen kann. OpenZFS teste ich ja mal wieder ...

Back to topic: Heute eingetrudelt. :d

IMG_4421.jpeg



...und haha, reingefallen. Mein Notebook hat nur "normales" USB, kein Thunderbolt. Mein Dienst-Schleppi hat's aber da fehlen mir natürlich - tadaa - die Adminrechte. Immerhin: das Gerät taucht auf und die Lampe am USB-C Port muss grün (nicht blau) leuchten... :d
 
Zuletzt bearbeitet:
@gea
Aber hab ich das richtig verstanden?
Wenn ich zb 10 verschiedene "offene" Backups habe, in denen Files x mal vorkommen, dass diese mit ZFS nur noch einmal gehalten werden, aber diese 10 Backups trotzdem vollwertig sind, weil jedes Backup auf dieses File zugreifen kann? Bei Upload-Hostern (oder Foren) wäre das äusserst sinnvoll, wenn zb 1 Mio. User das exkakt gleiche Bild hochladen

btw:
Momentan nutze ich BTRFS wegen Performance und bitrot-detection (erstellt Checksummen aller Daten)

Backup und Snaps werden gerne gemeinsam genutzt. Backup ist eine Kopie der Daten auf einem anderen Datenträger an anderem Ort. Snaps sind Datenversion auf dem Storage und ja, jeder Snap ist vollwertig und enthält alle Daten. Dedup ist unabhängig davon. Mit Dedup wird mittels der Prüfsummen beim Schreiben eines ZFS Datenblock z.B. 1M geprüft ob es diesen Block bereits auf dem Pool gibt. Wenn ja wird er nicht erneut gespeichert sondern nur ein Verweis erstellt. Da ZFS Dedup Realtime Dedup ist, fallen im RAM große Dedup Tabellen an. Den RAM muss man bereitstellen.
 
...und haha, reingefallen. Mein Notebook hat nur "normales" USB, kein Thunderbolt. Mein Dienst-Schleppi hat's aber da fehlen mir natürlich - tadaa - die Adminrechte. Immerhin: das Gerät taucht auf und die Lampe am USB-C Port muss grün (nicht blau) leuchten... :d
Stand aber in der Beschreibung :d
Dachte die ganze Zeit, du hättest nen MacBook ;)
Wählerischer ist die aktuelle TB5-Karte von ASUS. Da muss es ein ASUS-MB sein. Und eine bestimmte Serie, aber auch nicht alle dieser Serie. Und natürlich eine INTEL-CPU :cautious:

Dafür wird man mit bidirektionalen 80/80G bzw. 120/40G belohnt :)
Beitrag automatisch zusammengeführt:

Was heisst "offen" bei Backups?
Ungepackte Apple-Backups - also zig tausend, verschlüsselte Files
Beitrag automatisch zusammengeführt:

All das löst aber Dein Übertragungsproblem nicht: Wenn ich Deine Herausforderung richtig verstanden habe, musst Du zusätzlich das bei einem Backup-Lauf zu übertragende Datenvolumen reduzieren. Ich habe daher bei meinen live-daten rigoros ausgemistet und alles, was nun einmal in mein großes Backup gegangen ist, an allen anderen Orten gelöscht.
Die einfachste und „schnellste“ Methode, wäre diesen vielen „kleinst-file-Ordner“ zu packen (inkl. Checksumme und Wiederherstellungsdaten)

Extrem zeitraubend wäre ausmisten. Das würde Wochen dauern. Da würde ich eher 1.000-2.000€ investieren, um den extremen Zeitraub zu entgehen

Bei Lust und Gelegenheit erstelle ich auf beiden Seiten jeweils eine RAM-Disk und schaue, was mit RJ45-Leitung und diesen Files möglich ist. Die Cache-Performance, des NAS liegt bei maximalen knapp 18GiB/s. Mit 4k random (und kleiner) muss ist erst testen. Dafür nehme ich am liebsten IOmeter (und natürlich den Ordner von oben)
 
Zuletzt bearbeitet:
Irgendwann musst Du Dir trotzdem mal nen Kopf machen, wie Du weiter damit umgehst.
Und wenn ich es richtig verstanden habe hast Du durch die vielen Backups eh alles doppelt und dreifach (^10), da müsste durch die Doppelungen ja eher das Löschen aufwendig denn kritisch sein....
 
Ich dachte zuerst du bist ein Sicherheitsforscher und hast damit im eigene Netzwerk DDoSt gefahren...
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh