Vereinzelt kaputte Dateien b Kopieren übers Netzwerk - plse hlp

[IronAge]

Wie ist da eure Erfahrung?

Unwahrscheinlich, externe Festplatten gehen mal gerne über den Jordan, ohne Redundanz und brauchbare Backup Strategie gehst du ein Risiko ein.
Schon genug Kunden gehabt die nur auf einen externen Datenträger gesichert haben und dann bei Ausfall tiefer in die Tasche greiffen mussten.

Wenn du be einem NAS sicher gehen willst musst halt was mit ZFS oder btrfs nutzen.

 

[AndreasBloechl]

Backups ist nicht das Thema. Ich habe da einige davon auch auf zwei WD My Books Duo im Raid 1 .
Mir geht es mehr um gekippte Bits die ich vielleicht nicht bemerke und mitkopiere.

 

[besterino]

Verkürzt: Daher der Hinweis auf die Filesysteme ZFS oder BTRFS. Die legen zu den Nutzdaten checksummen ab, gegen die automatisch bei jedem Zugriff geprüft wird, ob die Daten noch integer sind. Zusätzlich kannst Du auch zwischendurch einen Check aller Daten anstoßen (heißt bei ZFS z.B. „scrub“). Wenn man das dann mit einer Redundanz kombiniert, können die Filesysteme auch automatisch den Fehler beheben / auch bei einem gekippten Bit die richtigen Daten identifizieren (weil Checksumme vorhanden) und verwenden (weil Redundanz vorhanden).

In der Windowswelt geht das inzwischen auch, mit ReFS. Dann am besten auch gleich Integrity Streams aktivieren…(standardmäßig erstellt ReFS nur Checksummen für Metadaten).

ReFS integrity streams

Learn more about: ReFS integrity streams

learn.microsoft.com

Wer mit NTFS oder EXT4 unterwegs ist, dem sind seine darauf liegenden Daten nicht wichtig (genug). (…was völlig ok sein kann, aber zumindest eine bewusste Entscheidung sein sollte….)

 

[AndreasBloechl]

Verstehe ich das richtig, das ginge mit Boardmitteln von Windows selber? Auch für NAS oder nur interner Speicher vom Rechner?

 

[gea]

Das ist Statistik, hängt individuell von Qualität der Platten, Temperatur, Stromschwankungen, Radioaktivität,RAM,sonstiger Hardware,.. sowie von Stecker und Kabel ab. Man kann allenfalls sagen, wenn man lange genug wartet oder genügend Daten kopiert, tritt Datenkorruption garantiert auf.

Das eigentliche Problem ist dann, ob das Problem erkannt und repariert wird oder es unerkannt bleibt.
Für ersteres brauchts ECC+Dateisysteme mit Prüfsummen (btrfs, ReFS, ZFS). Die gibts auf jedem OS. "Alte" Dateisysteme wie ext4 oder ntfs können das nicht.

 

[besterino]

Verstehe ich das richtig, das ginge mit Boardmitteln von Windows selber? Auch für NAS oder nur interner Speicher vom Rechner?

Für „sichere“ Daten spielen verschiedene Ebenen eine entscheidende Rolle. Gegen Bitrot bei ruhenden Daten (die Du dann ggf. „mitkopierst“) helfen im ersten Schritt die beschriebenen Dateisysteme - d.h. es ist grds. das OS zuständig, das unmittelbar das Dateisystem verwaltet. Bei Daten auf einem NAS ist das also an der Stelle das NAS. (Was anderes gilt allenfalls, wenn Dein NAS Deinem Client blockbasiert Storage / Freigaben - z.B. über iSCSI - zur Verfügung stellt, wo dann als Ausnahme von der Regel das Client-OS für das Dateisystem zuständig ist und nicht das NAS. Bei den üblichen Freigabe-Verfahren wie CIFS/Samba/SMB oder auch NFS ist das aber nicht der Fall: hier ist das NAS-OS für das Dateisystem zuständig.)

Mit dem richtigen Dateisystem auf dem NAS erschlägst Du aber nur eine von vielen möglichen Fehlerquellen.

Damit von Deinen auf dem NAS gespeicherten (korrekten) Daten aber z.B. auch auf einem Backup die richtigen Daten landen, sollte aber - zusätzlich zu einem Dateisystem mit Checksummen auf dem Quellsystem und idealerweise auch auf dem Zielsystem - mindestens am Ende des Kopiervorgangs (z.B. per Checksummen) einmal geprüft werden, dass die Daten auf auf der Quelle mit dem Backup übereinstimmen.


Schau Dir vielleicht mal den Post von @gea dazu an:

[FAQ] - RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

Im Aufbau. Was sind denn die Probleme um die man sich kümmern muss? Worum geht es bei dem Thema im Kern? Warum eigentlich ECC RAM? Wann brauche ich ein Backup trotz Raid? Worauf muss ich bei ECC Speicher achten? Gibt es unterschiedliche Arten von ECC? Kann mir nicht jemand das lesen abnehmen...

www.hardwareluxx.de

Die weiteren Beiträge in dem Thread kann man auch noch mal überfliegen.

 

[AndreasBloechl]

Also, jede Sicherung die ich habe und auch alle NAS von mir haben nach dem Kopiervorgang Bit für Bit die Daten kopiert. Lasse da hinterher einen Binärvergleich mit BeyondCompare durchlaufen. Nur wenn die dort mal liegen macht man das ja nicht mehr, einzig was neu dazu kommt wird sofort wieder Binär verglichen.

Aber eine andere Frage, die verschiedenen Möglichkeiten legen sich ja ein Datei an wo die Checksummen und und und hinterlegt sind. Wenn aber diese Dateien umkippen sollen erkennt es Fehler die gar keine Fehler sind. Oder mache ich da einen Denkfehler?

 

[besterino]

Es werden auch für diese Daten Checksummen erstellt, d.h. das Dateisystem kann Fehler darauf erkennen und bei Redundanz auch beheben.

 

[AndreasBloechl]

Ok, danke für die Info. Als würde es nur was bringen die NAS zu wechseln weil meine 4 Stück WDMyCloudEX2 Ultras können das natürlich nicht. Oder halt von Zeit zu Zeit mal einen kompletten Scan mit BeyondCompare machen Bit für Bit. Was natürlich extrem ist bei 3TB übers Netzwerk.

 

[AndreasBloechl]

Ist euch eigentlich sowas schon mal untergekommen. Vor ca. einem Jahr habe ich mal von einer 2,5Zoll WD Elements 3TB auf eine WDMyBookDuo kopiert und dann hinterher Bit für Bit mit einer 3,5Zoll WD Elements vergleichen lassen. Lief fast drei Tage durch mit kopieren und vergleichen aber kein Fehler.

 

[gea]

So ist es halt mit Lotto spielen und Statistic.

Eine billige aber neue Desktop Platte hat eine Fehlerrate on 10^-15, das heißt man muss eine 3TB Platte mehr als 30x vollschreiben bis statistisch ein Fehler auftritt. Ist die Platte älter, ist es wärmer oder hat man mehrere Platten mit ihren Vibrationen, kann das viel häufiger passieren. Ist der Vorname Pechmarie, gerne auch nach 10 Sekunden bei der ersten Datei.

Vermeiden kann man Datenkorruption nicht, wohl eber in Echtzeit entdecken und korrigieren (ECC, ZFS).
Hat man ZFS, sieht man Probleme sofort an Prüfsummenfehlern. Wer seit langem ZFS nutzt mit größerem Storage hat das bestimmt schon gesehen, ich schon öfter.

 

[AndreasBloechl]

Wie ist das denn bei ZFS, läuft da im Hintergrund von Zeit zu Zeit in der NAS ein Checksummen Test? Oder muss man das auch selber anstoßen?

 

[besterino]

Kannst/musst Du 1x einstellen, dann läuft das regelmäßig.

 

[Trambahner]

Dazu kommt: beim Lesen jedes Blocks wird bei ZFS automatisch >immer< die Prüfsumme kontrolliert sofern man das nicht ausschaltet.
Und bei Fehlern aus der Parität/Mirror (sofern vorhanden) der richtige Datenzustand wieder hergestellt. Zusätzlich wird natürlich der Fehler berichtet.

Sprich, Hot data auf die dauernd zugegriffen wird werden quasi permanent kontrolliert, cold data muss man anstossen (manuell oder per Job wird dann der entsprechende Pool geprüft (aber auch nur belegte Blöcke, für leeren Bereich wird keine Zeit verschwendet).

Stichwort leerer Bereich. Erstellen von ZFS Parity-Raids braucht deswegen auch keine stunden- oder tagelange Initialisierung wie z.B. klassischem Hw- oder Sw-Raid oder Unraid. Weil was aus ZFS-Sicht nicht belegt ist, braucht man auch nicht prüfen/"synchronisieren"/nullen. => Erstellst Du einen Zpool, ist der auch bei multi-Terabyte-Größen instant da. ZFS braucht ja nur seine Metadatenstrukturen anlegen.

 

[AndreasBloechl]

Mensch ihr macht mich echt neugierig. Ich habe 4 WD NAS und drei MyBookDuo im Raid 1 mit gleichem Inhalt. Bin am überlegen ob ich nicht doch noch ein NAS kaufen soll die das kann, eine würde ja reichen wenn die immer wieder überprüft wird und dann die anderen synchronisiert werden. Was für fertige NAS würdet ihr da empfehlen damit ich mich mal mit der Suche leichter tue und nicht alle Hersteller durchstöbern muss. Alle Hersteller können das ja nicht.

 

[Pandora]

Mit ZFS gibt es afaik nur die Qnap Modelle mit QuTS Hero. BTRFS unterstützen aber die meisten NAS, der Knackpunkt ist eher der ECC RAM welcher die Auswahl stark einschränkt. Bei dem Thema gehen die Meinungen aber stark auseinander, funktionieren tut das alles auch mit normalem RAM, aber wenn man aufgrund defektem RAM kaputte Daten schreibt hilft auch das sicherste Dateisystem nix.

Mit ECC als einziger Anforderung würde ich aktuell wahrscheinlich zu sowas greifen (gibts von Privat noch günstiger) und TrueNAS installieren.

 

[AndreasBloechl]

Mit TrueNAS ist ja auch wieder Bastellei und man muss sich wieder um das System kümmern. Ich habe etliche Notebooks wo ich schon nicht mehr hinterher komme mit der ganzen Updaterei. Das NAS soll so einfach sein wie nur möglich und zuverlässig laufen ohne Datenverlust. Eigentlich wäre ich da mit WD schon sehr zufrieden gewesen weil sehr sehr einfach und überschaubar was das System betrifft.