[Sammelthread] 10Gbit Homenetzwerk

[Zeitmangel]

@Dwayne_Johnson
Wenn du das mit den "200" jetzt regelst, kann es sein, daß du dann keine 10Gbit mehr brauchst?

 

[Dwayne_Johnson]

Lösung?
ZFS nehmen und Backup mit inkrementeller ZFS Replikation.
Beim ersten Lauf wird das komplette NAS gesichert, beim nächsten Lauf nur die geänderen Datenblöcke auf ZFS Snap Basis übertragen. Sind da keine Änderungen dauert der Backup sync wenige Sekunden selbst bei 100TB Storage und 100 Millionen Dateien,

Wenn zb ein File in zb 10 verschiedenen Backups 10 mal vorhanden ist und die ZFS Replikation 9 identische Files löscht, erkennt ZFS die 10 Backups immer noch als 10 „vollwertige“ Backups an? Also ist „das eine File“ quasi 10 mal mit den Vollbackups „verknüpft“? Hab mich ehrlich gesagt noch nie mit ZFS auseinandergesetzt

Beitrag automatisch zusammengeführt: Mittwoch um 12:24

@Dwayne_Johnson
Wenn du das mit den "200" jetzt regelst, kann es sein, daß du dann keine 10Gbit mehr brauchst?

…sondern?

 

[gea]

Man könnte auch eine Soft empfehlen die archiviert. Archive (also ohne Kompression) lassen sich massiv besser retten, sollte was damit sein. Exemplarisch in der Kategorie, TAR (ohne gz ohne bz2).

Tar haben zunächst keine Prüfsummen auf den enthaltenen Daten. Ramfehler, Kabelprobleme oder bitrot können dann Datenfehler verursachen, die nicht erkannt werden. Sind also für Archivierung nicht ideal es sei denn das darunterliegende Dateisystem kann Daten Prüsummen, idealerweise mit autorepair bei erkannten Problemen.

@Dwayne_Johnson
ZFS Replikation löscht keine Datenkopien. Man könnte allenfalls Fast Dedup aktivieren. Das arbeitet in Echtzeit und speichert Datendupletten nur einmal. Der RAM Bedarf und die Geschwindigkeitseinbußen sind im Gegensatz zu älterem ZFS Dedup überschaubar und limitierbar.

Ansonsten ist ZFS ein Copy on Write Dateisystem. Jeder ZFS Snap ist damit eine volle Ansicht des gesamten Dateisystems zum Zeitpunkt der Snaperstellung. Jeder Snap blockiert lediglich den Platz den die geänderten Datenblöcke im Vergleich zum vorherigen Snap belegen. 10000 Snaps ohne Datenänderung benötigen keinen Platz. Ein Snap wird ohne Zeitverzug erstellt. Den Snap kann man durchsuchen um beliebig einzelne Dateien aus dem Snap wiederherzustrellen. Daneben bietet ZFS rollback (Zurücksetzen eines Dateisystems auf den Snap mit Löschen nachfolgender Snaps) sowie Clone. Das ist das bereitstellen eines Snaps als normales read/write Dateisystem.

Im Vergleich zu "alten Dateisystemen" ist ZFS eine Offenbahrung was Storage Sicherheit und Features angeht.

 

[Dwayne_Johnson]

Der Erste und Einzige bei Alibaba, der davon schrieb. Es ging um diesen Adapter...

https://www.alibaba.com/product-detail/10GbE-USB-C-Ethernet-Adapter-USB3_1601581141447.html

Der andere "Ali" hat damit anscheinend keine Probleme (siehe weiter oben). Nur nicht ganz so günstig

Beitrag automatisch zusammengeführt: Mittwoch um 15:54

@gea
Aber hab ich das richtig verstanden?
Wenn ich zb 10 verschiedene "offene" Backups habe, in denen Files x mal vorkommen, dass diese mit ZFS nur noch einmal gehalten werden, aber diese 10 Backups trotzdem vollwertig sind, weil jedes Backup auf dieses File zugreifen kann? Bei Upload-Hostern (oder Foren) wäre das äusserst sinnvoll, wenn zb 1 Mio. User das exkakt gleiche Bild hochladen

btw:
Momentan nutze ich BTRFS wegen Performance und bitrot-detection (erstellt Checksummen aller Daten)

 

[besterino]

Was heisst "offen" bei Backups?

Aber ansonsten ist Dedup grds. Dein Feature auf der Storage-Seite: vereinfacht ausgedrückt, liegen Doubletten in Deinen Backups dann nur 1x auf dem Server, die anderen 9 Doubletten liegen logisch auch da, zeigen aber tatsächlich dann nur auf die entsprechende Stelle und sagen "hey, das gehört auch zu mir". Umgekehrt wird der Platz auf dem Datenträger dann auch nur freigegeben, wenn die letzte von allen 10 Doubletten gelöscht wird.

Ich setze das genau aus dem Grund auch auf meinem "ultimativen Backup" so ein: über die Jahre x Backups von zig Dateien mit unterschiedlichen Zuständen erzeugt und irgendwann den Überblick verloren. Dann 2 fette 20TB Festplatten angeschafft, ZFS Raid1 (also 20TB netto), Dedup und alles stumpf drauf kopiert. Mein Pool behauptet mittlerweile, er hätte eine "Kapazität" von 30TB einfach weil zig Daten eben Doubletten sind. Ist zwar mit Dedup nicht wirklich flott, aber das ist mir ziemlich egal weil de facto cold storage: write once alle Jubeljahre, read never.

All das löst aber Dein Übertragungsproblem nicht: Wenn ich Deine Herausforderung richtig verstanden habe, musst Du zusätzlich das bei einem Backup-Lauf zu übertragende Datenvolumen reduzieren. Ich habe daher bei meinen live-daten rigoros ausgemistet und alles, was nun einmal in mein großes Backup gegangen ist, an allen anderen Orten gelöscht.

Mein persönliches Thema ist dann noch, dass mein großes Backup auf original Solaris 11.4 läuft/liegt. Mittelfristig müsste ich ein neues Backup anlegen auf Basis von OpenZFS, damit ich dann auch wieder ZFS Replikation von meinem Main-Storage nutzen kann. OpenZFS teste ich ja mal wieder ...

Back to topic: Heute eingetrudelt.

...und haha, reingefallen. Mein Notebook hat nur "normales" USB, kein Thunderbolt. Mein Dienst-Schleppi hat's aber da fehlen mir natürlich - tadaa - die Adminrechte. Immerhin: das Gerät taucht auf und die Lampe am USB-C Port muss grün (nicht blau) leuchten...

 

[gea]

@gea
Aber hab ich das richtig verstanden?
Wenn ich zb 10 verschiedene "offene" Backups habe, in denen Files x mal vorkommen, dass diese mit ZFS nur noch einmal gehalten werden, aber diese 10 Backups trotzdem vollwertig sind, weil jedes Backup auf dieses File zugreifen kann? Bei Upload-Hostern (oder Foren) wäre das äusserst sinnvoll, wenn zb 1 Mio. User das exkakt gleiche Bild hochladen

btw:
Momentan nutze ich BTRFS wegen Performance und bitrot-detection (erstellt Checksummen aller Daten)

Backup und Snaps werden gerne gemeinsam genutzt. Backup ist eine Kopie der Daten auf einem anderen Datenträger an anderem Ort. Snaps sind Datenversion auf dem Storage und ja, jeder Snap ist vollwertig und enthält alle Daten. Dedup ist unabhängig davon. Mit Dedup wird mittels der Prüfsummen beim Schreiben eines ZFS Datenblock z.B. 1M geprüft ob es diesen Block bereits auf dem Pool gibt. Wenn ja wird er nicht erneut gespeichert sondern nur ein Verweis erstellt. Da ZFS Dedup Realtime Dedup ist, fallen im RAM große Dedup Tabellen an. Den RAM muss man bereitstellen.

 

[Dwayne_Johnson]

...und haha, reingefallen. Mein Notebook hat nur "normales" USB, kein Thunderbolt. Mein Dienst-Schleppi hat's aber da fehlen mir natürlich - tadaa - die Adminrechte. Immerhin: das Gerät taucht auf und die Lampe am USB-C Port muss grün (nicht blau) leuchten...

Stand aber in der Beschreibung
Dachte die ganze Zeit, du hättest nen MacBook

Spoiler

Wählerischer ist die aktuelle TB5-Karte von ASUS. Da muss es ein ASUS-MB sein. Und eine bestimmte Serie, aber auch nicht alle dieser Serie. Und natürlich eine INTEL-CPU

Dafür wird man mit bidirektionalen 80/80G bzw. 120/40G belohnt

Beitrag automatisch zusammengeführt: Mittwoch um 22:35

Was heisst "offen" bei Backups?

Ungepackte Apple-Backups - also zig tausend, verschlüsselte Files

Beitrag automatisch zusammengeführt: Mittwoch um 22:47

All das löst aber Dein Übertragungsproblem nicht: Wenn ich Deine Herausforderung richtig verstanden habe, musst Du zusätzlich das bei einem Backup-Lauf zu übertragende Datenvolumen reduzieren. Ich habe daher bei meinen live-daten rigoros ausgemistet und alles, was nun einmal in mein großes Backup gegangen ist, an allen anderen Orten gelöscht.

Die einfachste und „schnellste“ Methode, wäre diesen vielen „kleinst-file-Ordner“ zu packen (inkl. Checksumme und Wiederherstellungsdaten)

Extrem zeitraubend wäre ausmisten. Das würde Wochen dauern. Da würde ich eher 1.000-2.000€ investieren, um den extremen Zeitraub zu entgehen

Bei Lust und Gelegenheit erstelle ich auf beiden Seiten jeweils eine RAM-Disk und schaue, was mit RJ45-Leitung und diesen Files möglich ist. Die Cache-Performance, des NAS liegt bei maximalen knapp 18GiB/s. Mit 4k random (und kleiner) muss ist erst testen. Dafür nehme ich am liebsten IOmeter (und natürlich den Ordner von oben)

 

[Da_Maddy]

Irgendwann musst Du Dir trotzdem mal nen Kopf machen, wie Du weiter damit umgehst.
Und wenn ich es richtig verstanden habe hast Du durch die vielen Backups eh alles doppelt und dreifach (^10), da müsste durch die Doppelungen ja eher das Löschen aufwendig denn kritisch sein....

 

[Dwayne_Johnson]

Darüber will ich garnicht nachdenken

 

[Zeitmangel]

Ich dachte zuerst du bist ein Sicherheitsforscher und hast damit im eigene Netzwerk DDoS gefahren...

 

[Dwayne_Johnson]

Knapp 124.000 Files für ein Backup - geisteskrank

 

[sch4kal]

Wieso packst du das ganze nicht als .tar.gz oder .zip ? Dann wäre es eine Datei

 

[underclocker2k4]

Stand aber in der Beschreibung
Dachte die ganze Zeit, du hättest nen MacBook

Spoiler

Wählerischer ist die aktuelle TB5-Karte von ASUS. Da muss es ein ASUS-MB sein. Und eine bestimmte Serie, aber auch nicht alle dieser Serie. Und natürlich eine INTEL-CPU

Dafür wird man mit bidirektionalen 80/80G bzw. 120/40G belohnt

Dazu braucht man aber kein Macbook.
Meine Laptops haben seit über 10 Jahren TB(3) und das sind alles Windowskisten.
Problem ist eher, dass das ab TB4/USB4 leider nen Clusterfuck wird, weil es nämlich dann um Features geht...

Und das mit den TB Karten von ASUS ist leider auch normal und eigentlich auch schon seit den ersten Karten so.
Ne richtig einfache TB Karte ist nur eigentlich nicht bekannt.
An sinnvollsten sind Onboardlösungen (muss also das System schon mitbringen). Geil wird es dann, wenn die Plattform keine iGPU hat, dann fängste auch noch an das Displaysignal in den TB-Pfad einzuschleifen. Da ist dann wie bei der Voodoo1/2 damals, wir sind also sehr weit gekommen in den letzten 25 Jahren und TB ist viel moderner.

 

[besterino]

Mir war das in der Vergangenheit herzlich egal, da ich für meine USB-Bedürfnisse quasi auch mit dem schlechtesten USB-Standard zufrieden war, einschließlich USB2. Jetzt für die USB-NICs wäre halt nen schneller USB3 gut, aber dass es Geräte gibt, die ausschließlich TB sprechen habe ich zum ersten mal bei der SFP+ Box gesehen (und war halt leider fälschlicherweise der Meinung, dass mein Schleppi das hätte - Augen auf beim Hardwarekauf).


Die 10Gbase-T USB Box müsste aber eigentlich funktionieren - mal schauen, wann die ankommt.

 

[underclocker2k4]

Jop, das Problem ist halt die Anbindung.
Es gibt, auf Chipseite, USB Netzwerkchips, die findet man z.B. häufig in Dockingstations.
Deine neue NIC ist aber kein USB-NIC-Chip, sondern eben eine ganz normale NIC, wie sie eben in den PCIe Slot kommt.
Also muss da irgendwie PCIe ran.
Und jetzt rate mal, wer PCIe zur Verfügung stellt.
Genau, TB macht das.
Daher kannst du über TB PCIe-Geräte anbinden, eigentlich egal welches, auch z.B. GPUs werden so angebunden. Kann auch nen SAS Controller sein oder sowas.
Und daher muss der Anschluss also PCIe bereitstellen.
Und das ist eben eines der Features, das kommen muss.
Ein USB4 (was "eigentlich" TB4 sein soll) muss das eben auch mitbringen.
Sprich, am USB4 ohne PCIe-Feature wird die NIC nicht laufen, an einem USB4 mit PCIe-Feature schon.
Es ist also nicht exklusiv die Bandbreite, die man da beachten muss, sondern wirklich die Ausstattungsliste.
Also ganz besonderes Auge auf den Hardwarekauf.

 

[besterino]

USB gehört eh abgeschafft.

 

[Dwayne_Johnson]

Wieso packst du das ganze nicht als .tar.gz oder .zip ? Dann wäre es eine Datei

Muss ich dann wohl...
Bin gerade auf der Suche nach guten Anleitungen (RSync und WIN11)

Beitrag automatisch zusammengeführt: Gestern um 16:16

USB gehört eh abgeschafft.

Finde ich entspannter, als restriktives TB (inbesondere TB5)
Ich hätte es gerne, aber für meinen momentanen "Hin-und-wieder-Usecase" ist es zu teuer. Ausserdem will ich noch bei AM5 (9950X3D) bleiben

Hatte die TB5-Karte hier und war enttäuscht und genervt, dass das kleine Kärtchen von 4 (vier!!!) Seiten gespeist werden will, wenn man das Maximum nutzt

Beitrag automatisch zusammengeführt: Gestern um 16:47

Hab gerade rsync via cli (wsl) am Laufen und erstmal stationär was kopiert
Aber wie ich sehe, gibt es für rsync diverse GUIs. Arbeitet jmd damit und kann mir eine der GUIs empfehlen? (edit: ich probiere "grsync" unter WIN11)

Soll final automatisch die fetten "kleinst-file-Ordner" (Apple-Backups) packen und aufs NAS verschieben

 

[Zeitmangel]

Das Prob mit USB/TB ist irgendwann das üble Gestrippe (wenn man nicht nur von Sticks redet). Und die Stecker/Buchsen werden immer lächerlicher.
Das ist immer mehr ein Krampf. Wir hätten als "universal" spätestens bei 3.2 (umgangssprachlich ) aufhören sollen.

PS:
Und die 2 dauerbekifften Paviane die für die Namensgebung verantwortlich sind wieder in Serengeti freilassen.

 

[Dwayne_Johnson]

Laut einigen Aussagen soll TB zuverlässiger und konsistenter laufen, als USB
Aber ein Setup mit einer ext. TB-Karte aufzubauen ist ekelhaftes gestöpsel
Wenn, dann nur fertig mit MacBook, Mac Mini/Studio oder passende MBs

btw:
Bin gerade dabei ein passendes Script für winrar zu schreiben. im CLI rumtippseln liegt mir überhaupt nicht...
Klappt aber gut. Gepackt, komprimiert, mit 3-5% Wiederherstellungsdaten, verschlüsselt und anschliessendem Test (also verifizieren der Files)

 

[besterino]

Ich habe immer noch nicht verstanden, warum Du so viel Zeug JEDES MAL sichern musst?

Kannst Du die jeweiligen Geräte nicht ausmisten oder umkonfigurieren? Ich hab mir zum Beispiel jetzt Nextcloud für Bilder eingerichtet und der Kram liegt dann schonmal auf dem NAS mit ZFS-Storage. Das kann ich dann per Replikation inkrementel lokal sichern und muss das nicht übers Netz machen (ginge aber auch).

 

[Haldi]

Ich habe immer noch nicht verstanden, warum Du so viel Zeug JEDES MAL sichern musst?

Ich auch nicht...
Vor allem Wieso zum Teufel vom iPhone ein FULLbackup via USB und dann übers Netzwerk?
Bietet apple keine Backup Lösungen die Inkremental über WLAN nächtlich nur die Veränderungen Syncen? Direkt auf den Server?

 

[Zeitmangel]

Laut einigen Aussagen soll TB zuverlässiger und konsistenter laufen, als USB

Hatte denn hier schon wer inkonsistentes USB?

Aber ein Setup mit einer ext. TB-Karte aufzubauen ist ekelhaftes gestöpsel

Exakt. Das ist sowas wie Cat7 Kabel. In Verlege kriegt man das noch irgendwie hingewürgt, aber Patchkabel sind genauso ekelhaft. Kann man zum Glück auch drauf verzichten und sich mit "ultra"-, "super"-, "mega"- oder "hyper"- flexiblen 6A Ausführungen ausstatten Das brignt wenigstens zum Teil Linderung. Mit TB bleibt es ekelhaft.

 

[Shihatsu]

Das schreit nach syncthing...

 

[Dwayne_Johnson]

Will von jedem Backup min. 3 Versionen haben

Ich auch nicht...
Vor allem Wieso zum Teufel vom iPhone ein FULLbackup via USB und dann übers Netzwerk?
Bietet apple keine Backup Lösungen die Inkremental über WLAN nächtlich nur die Veränderungen Syncen? Direkt auf den Server?

Inkrementell geht. Zeitgesteuert auch (mit „iMazing“). Auf Apple-Server aber nicht

Beitrag automatisch zusammengeführt: Heute um 10:02

Das schreit nach syncthing...

Schau ich mir auch noch an…

 

[gea]

Will von jedem Backup min. 3 Versionen haben

Prinzipiell gehe ich so vor

Alle aktuellen Primärdaten sind auf einen Speicher (ZFS NAS), keine lokalen aktuelleren Kopien der Arbeitsdaten!
Idealerweise, vor allem mit 10G+, arbeitet man direkt vom NAS über SMB mit diesen Originaldaten

Für Versionierungen (2-10000 Versionen) nehme ich ZFS Snaps auf dem NAS z.B.
4 Snaps/aktuelle Stunde, 24 Snaps aktueller Tag, 30 Snaps aktueller Monat,..
Auf jeden Snap kann ich per SMB oder Windows vorherige Version direkt zugreifen
(wie Timemachine, nur viel moderner/intelligenter/schneller/platzsparender und sicherer)

Für ZFS Backup des NAS ()sync der Daten) idealerweise 321 (3x Kopien der Daten auf 2x weitere Datenträger, davon 1x extern), kann USB disk, ein weiteres NAS oder Cloud sein. Auf dem Backup mache ich auch Snaps, aber weniger, z.B. monatlich. Platzbedarf der Snaps sind geänderte Datenblöcke zur Vorversion, Dedup optional

Damit kann ich für Daten in der letzten Stunde viertelstündlich, für den Tag stündlich, für den Monat täglich auf eine Version des gesamten NAS gehen. Backup Sync mit ZFS Replikation ist unerreicht schnell da Datenstream, kompakt da nur geänderte Datenblöcke und es nimmt offene Dateien mit letztemSpeicherstand mit.

Zueinander kompatible (Open) ZFS gibts für Free-BSD, Illumos/OmniOS, Linux, OSX (released) und Windows (release candidate)
Inkompatibel zu OpenZFS ist nativ Solaris ZFS und Qnap ZFS (basiert auf älterem OpenZFS, inkompatibel zu aktuellem OpenZFS)

 

[Techlogi]

Um mal zum Thema zurück zu kommen:
Was für Infos hättet ihr neben einer Liste unterschiedlicher Karten gerne im Startpost?

 

[Da_Maddy]

Die Backup Themen : macht doch da mal nen Thread für auf. Das Thema interessiert definitiv noch mehr Leute die hier rungammeln.

Würd im Startpost auch noch Switche ergänzen, gibt ja da mittlerweile viel. Wenn wir alle fleißig beisteuern gerne auch mit Stromverbrauch dazu, dann lohnt sich das noch mehr.

 

[Dwayne_Johnson]

@gea
Welches NAS-OS nutzt du?

Beitrag automatisch zusammengeführt: Heute um 13:52

Um mal zum Thema zurück zu kommen:
Was für Infos hättet ihr neben einer Liste unterschiedlicher Karten gerne im Startpost?

Ungefährer Verbrauch und Quelle (wo günstig zu kaufen)

 

[gea]

@gea
Welches NAS-OS nutzt du?

OmniOS,
das ist ein OpenSource Unix (Solaris fork) mit napp-it se als web-gui. Ist so ziemlich die minimalistischte, resourcenschonendste und stabilste ZFS Distribution für iSCSI, NFS und SMB. Neben Windows die einzigste Linux/Unix Option mit sauberer Unterstützung von ntfs ACL mit Gruppen in Gruppen, weltweit eindeutigen Windows AD sid als ACL Referenz statt ein simplen uid Nummern und ZFS Snaps als Windows Vorherige Version ohne spezielles Setup.

Vor allem wegen SMB Direkt mit rdma nics 25-100G und Active Directory sehe ich künftig Windows Server (ab 2019 Essentials) als Option.