Aktuelles

Netzwerkspeicher als NAS oder Miniserver

jurke

Enthusiast
Thread Starter
Mitglied seit
25.03.2007
Beiträge
228
Hallo liebes Forum,

gefühlt gibt es derer Anfragen viele und trotzdem bin ich unschlüssig was in meinem Fall die "beste" Lösung darstellt.
Kurz zu den Randbedingungen:
- Geräte im Netz: 2 Smartphones, 2 Laptops, 1 PC, 1 HTPC, 1 TV
- Daten liegen fraktioniert verteilt auf mehreren Computern vor
- Backup aktuell verteilt auf mehrere externe Platten
- HTPC hat aktuell 4 TB Speicher für Musik, Filme, Serien (wenig Restkapazität ist Anstoß der Überlegung)
- Momentan verwende ich Kodi als Media Center
- Lediglich der PC ist per Kabel im Netz, der Rest läuft leider über WLAN
- Umzug in den nächsten 12 Monaten wahrscheinlich mit dem Willen den HTPC per LAN einzubinden

Was ich möchte:
- zentrale Bereitstellung der Multimediadaten (Musik, Filme, Serien), Officedaten und Bildern
- Mindestens eine Verdopplung der Speicherkapazität, mit Option auf Nachrüstung
- Ich würde gerne einen Netzwerkdrucker bereitstellen. Aktuell müssen wir die Laptops immer per USB an den Drucker stecken --> ungewollte Rennerei
- HTPC, der auch für gelegentliches Spielen herhalten muss, kann weiterhin für das Decoden dienen (auch h.265 nötig)
- Downloadstation à la JDownloader
- Verschlüsselung der Daten gewollt, wobei ich an sich eine ordnerbasierte Verschlüsselung einer volumebasierten bevorzuge, da nicht alles geschützt werden muss
- Eventuell Mailserver, aber das steht hinten an
- Backup soll per externer Platte laufen

Alles in allem schätze ich das als nicht sonderlich anspruchsvoll ein.
Jetzt habe ich in der Vergangenheit schlechte Erfahrungen mit korrupten (leider wichtigen) Daten auf externen Platten gemacht, deren Ursache ich nicht genau kenne. Das verunsichert mich und ich weiß nicht, ob ECC und ZFS, btrfs und wie sie alle heißen wirklich nötig ist. Unsere Daten sollten aber auch langfristig verfügbar bleiben.
Den Invest scheue ich nicht aber eine gewisse Rechtfertigung sollte da sein.

Falls noch weitere Informationen nötig sind, bitte einfach nachfragen.

Vielen Dank schon mal für eure Hilfe zu meiner (wahrscheinlich Standard-)Frage.

Beste Grüße
Klaus
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

Holt

Legende
Mitglied seit
05.07.2010
Beiträge
20.463
Wenn Du Schutz vor Silent-Data-Corruption willst, kommt nur eine Plattform mit ECC RAM in Frage, denn RAM Fehler sind die bei weitem häufigste Ursache davon. Die Daten werden auf den Platten mit einer ECC pro Sektor gesichert, gibt es da Probleme gibt es einen Lesefehler zurück und die Platten hat einen schwebenden Sektor, man bekommt die Datei also nicht korrupt zurück, sondern gar nicht. Dagegen helfen Backups und auch echte RAIDs (also kein RAID 0), denn dann stellt das RAID aus der Parity die Daten wieder her und überschreibt den schwebenden Sektor auch sofort, dann hat die Platten ggf. einen wiederzugewiesenen Sektor, wenn wirklich ein Defekt vorlag, denn schwebende Sektoren können auch andere Ursachen als Defekt auf der Oberfläche haben.

Dann werden die Daten auf den internene Datenpfaden der HDD bewegt, da haben nur Enterprise Platten einen Schutz vor Datenkorruption, Consumer Platten bestenfalls eine Erkennung, dann haben sie in den S.M.A.R.T. Werten ein Ende-zu-Ende Fehler Attribut. Bei der Übertragung werden die Daten über SATA mit einer CRC pro FIS (also Übertragungspaket welches maximal 8192 Byte Nutzdaten enthält) geschützt, da passiert also auch nichts. Dann landen sie im RAM und wenn es dort Fehler gibt, kann nur ECC RAM diese erkennen und meist auch korrigieren (zumindest Single-Bit-Fehler). Hat man nun ein Filesystem mit Prüfsummen und Datenkorrektur aber kein ECC RAM (mit passendem System, sonst nutzt es nichts), dann kann das richtig gefährlich werden, denn dann können RAM Fehler dazu führen, dass die Daten kaputtkorrigiert werden und sobald es die Metadaten trifft, ist bei ZFS der Pool unrettbar verloren.

ECC RAM ist also der wichtigste Baustein in der Sachen, aber bei den Fertig-NAS nur bei sehr teuren Enterprise Modellen vorhanden, von daher führt um einen Microserver wie z.B. dem HP Gen 8 kein Weg vorbei, wenn man seine Daten liebt udn es nicht zu teuer werden soll. Deshalb kann ich es nur mit Matt Ahren halten und dazu raten zu aller erst einmal ECC RAM zu verwenden:

Besonders gerne missverstanden wird übrigens dieser erste Teil seines Posts aus dem das Zitat stammt:
Die eigentliche Aussage des Satzes habe ich mal hervorgehoben, aber weil eben Filesysteme wie NTFS oder ext gerne auf Desktops ohne ECC genutzt werden, versuchen viele darauf abzuleiten man könnte dies auch genauso gut mit ZFS machen, weil ja nichts bei ZFS speziell nach ECC RAM verlangt was es bei anderen Filesystemen nicht auch tun würde. Richtig ist aber und das wird ja auch im Satz "if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data" klar, dass kein System ohne ECC RAM sicher für die Daten ist und man beim ECC RAM eben anfängt, dann erst lohnt es überhaupt erst sich um Prüfsummen Gedanken zu machen aber eben nicht umgekehrt. Ohne ECC RAM ist es dann auch egal ob man ein Filesystem mit Prüfsummen hat oder nicht.

PS: Backups sind natürlich außerdem Pflicht, z.B. auf nur dafür verwendeten USB Platten und regelmäßig prüfen und aktualisieren muss man seine Backups auch!
 
Zuletzt bearbeitet:

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.344
Silent Data Errors oder Datenrost sind all die Fehler, die zu Dateiveränderungen führen ohne dass dadurch eine Fehlermeldung erzeugt wird - bis zu dem Zeitpunkt an dem man die Datei öffnet und man feststellt dass diese fehlerhaft ist. RAM Fehler sind eine mögliche Ursache von vielen, von Radioaktivität, Spannungsschankungen über Spannungsspitzen, Kontaktptoblemen bei Kabeln, Treiberproblemen bis hin zu Fehlern die einfach mit einer statistischen Wahrscheinlichkeit auf den Platten auftreten.

Typischerweise werden neue Dateisysteme mit Prüfsummen wie ZFS eingesetzt um derartige Probleme zu erkennen und mit Hilfe einer Redundanz/ Raid zu reparieren. Fehler die als Ursache einen Ramfehler haben sind dabei besonders unangenehm da dagegen nicht einmal ZFS hilft. ECC RAM beugt da vor. Die Fehlerhäufigkeit steigt dabei mit der Ramgröße und der Speichergröße. Je mehr man davon hat desto größer das Problem.

vgl Was bedeutet Silent-Data-Corruption / Bit-Rot? - speicherguide.de
 

Holt

Legende
Mitglied seit
05.07.2010
Beiträge
20.463
Silent Data Errors oder Datenrost sind all die Fehler, die zu Dateiveränderungen führen ohne dass dadurch eine Fehlermeldung erzeugt wird - bis zu dem Zeitpunkt an dem man die Datei öffnet und man feststellt dass diese fehlerhaft ist.
So ist es und wenn das vor längerer Zeit schon passiert ist, sind meist auch die Kopien auf den Backups schon korrupt und unbrauchbar. Wobei aber nicht alle Archive deswegen unbrauchbar werden, gerade Mediendateien haben dann zwar schlimmstenfalls Fehler wie Aussetzer, sind aber meist trotzdem noch irgendwie benutzbar. Meist fällt es bei denen auch gar nicht auf, weshalb vielen Usern das Problem überhaupt nicht bewusst ist.

RAM Fehler sind eine mögliche Ursache von vielen, von Radioaktivität, Spannungsschankungen über Spannungsspitzen, Kontaktptoblemen bei Kabeln,
RAM Fehler sind die Hauptursache und alle Arten von Strahlung führen beim RAM zu Soft-Errors, also spontan gekippten Bit in sonst heilem RAM. Spontan gekippte Bits auf einer Platten sind dagegen wegen der ECC hinter jedem phys. Sektor und wenn es zu viele werden, gibt es wie gesagt einen Lesefehler statt korrupter Daten zurück. Auch Kabelfehler fallen wegen der CRC bei jedem FIS sofort auf, dann gibt es Ultra-DMA CRC Fehler (Attribut 0xC7 = 199) und die Übertragungen werden wiederholt und wenn es gar nicht klappt, irgendwann mit einer Fehlermeldung abgebrochen. Unerkannte Fehler sind da also ebenso wie auf dem Medium ganz extrem selten.

Eher schon kann es mal zu Fehlern auf den internen Datenpfaden der HDD kommen, weil wie gesagt gewöhnlich nur Enterprise Platten (HDDs wie SSDs) da einen Schutz vor Fehlern haben, Consumerplatten wenn überhaupt dann bestenfalls eine Erkennung solche Fehler.
Treiberproblemen bis hin zu Fehlern die einfach mit einer statistischen Wahrscheinlichkeit auf den Platten auftreten.
Treiberprobleme gehen wenn, dann auf das Konto des Host Controllers oder OS, denn SATA Platten haben keine eigenen Treiber. Wenn dann wären FW Probleme der Plattencontroller den Platten anzurechnen. FW Probleme kann es natürlich auch bei bei den Host Controllern geben und bei denen der Consumerklasse würde ich auch dort Bitefehler nicht ausschließen, Enterprise SAS HBAs sollten davor besser geschützt sein.

Typischerweise werden neue Dateisysteme mit Prüfsummen wie ZFS eingesetzt um derartige Probleme zu erkennen und mit Hilfe einer Redundanz/ Raid zu reparieren.
Richtig, wobei sie aber wie gesagt auf ECC RAM verrauen, da sie ihre RAM Inhalten i.d.R. eben nicht mit extra Prüfsummen abschützen. Solche Filesysteme kommen ja auch dem Serverbereich und da ist ECC RAM Pflicht und Standard und damit brauchen die Entwickler solche FS keine Resourcen für diese Aufgabe zu opfern, da sie sich auf korrekte RAM Inhalten verlassen können, die HW sicherst das RAM. Per SW ist das auch sehr schwer und aufwendig.
Fehler die als Ursache einen Ramfehler haben sind dabei besonders unangenehm da dagegen nicht einmal ZFS hilft. ECC RAM beugt da vor.
Genauso ist es und ohne ECC RAM weiß man auch nie wirklich, dass die Probleme ihre Ursache in RAM Fehlern hatten, denn sie können ja nicht erkannt werden. Es steht also nie RAM-Fehler dabei, da nur ECC RAM (und das entsprechende System aus Board und CPU, sonst nutzt es nichts ECC RAM Riegel zu verbauen, die zusätzlichen Pins hängen sonst einfach ungenutzt in der Luft) ist in der Lage zu erkennen ob die Daten die aus dem RAM gerade ausgelesen werden, auch die sind die dort hinein geschreiben wurden.
Die Fehlerhäufigkeit steigt dabei mit der Ramgröße und der Speichergröße. Je mehr man davon hat desto größer das Problem.
Wobei es dazu wie auch zur Silent Data Corruption leider nur wenige öffentliche Studien gibt und die paar leider auch nicht gut dokumentiert sind. So fehlt bei der Cern Studie ein Hinweis auf die konkret verwendete HW, also was für Platten (Enterpise mit Internal-Data-Path-Protection) und was für Rechner (ECC RAM?) verwendet wurden. Auch ist nicht klar, was sie dort genau bewertet haben, nur Dateien die unbemerkt verändert wurden oder auch solche die nicht mehr lesbar waren? Letztere stellt man gewöhnlich dann aus dem Backup wieder her!

Damit bleibt viel Spielraum für Interpreatationen. Immerhin kann man dort auch mal den Beleg für einen FW Bug im Host Controller als Fehlerursache sehen, sowas ist natürlich auch nie zu 100% auszuschließen und da hilft ein FS mit Prüfsummen dann vermutlich schon, da es eben den ganze Weg vom RAM zum Medium und zurück absichert.

Da fehlt aber wie so oft der Hinweis auf die RAM Fehler. Bei Enteprise HW ist das kein Thema, man sieht ja das selbst diese 200€ Microserver ECC RAM und passende MoBo und CPUs haben, aber beim Heimanwender und den Fertig-NAS fehlt es meist genau daran. Leider ist dieses wichtige Feature noch immer der besseren HW für den Profieinsatz vorbehalten, auch wenn die JEDEC beim DDR4 nun immerhin schon eine Parity zur Sicherung bei der Übertragung zwischen dem RAM und dem Memory Controller vorgesehen hat. Offenbar gibt es da bei den inzwischen für DDR4 RAM vorgesehenen Taktraten sonst auch zu oft Probleme, denn nur wenn irgendwo zu oft Probleme auftreten, werden auch bei der billigen Consumer-HW dort Sicherheitsmaßnahmen ergriffen und RAM Fehler sind ganz offensichtlich noch zu selten, als dass ECC RAM generell zwingend nötig wäre. Solange es meistens bei den meisten Users läuft, wird bei Consumer HW auf alles verzichtet was Geld kostet und wer mehr will, muss eben mehr bezahlen und bessere HW einsetzen.

Das ECC RAM kein Unsinniger Luxus ist, sondern bei Enterprise HW der Hauptgrund für stabilen Betrieb, sieht man auch schön an dieser Übersicht der Intel Netzwerkcontroller:
Intel-Ethernet-Controller-ECC.png
 
Zuletzt bearbeitet:

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.344
Ich würde nicht RAM als Hauptursache für Silent Errors sehen.
Die Häufigkeit ist sicher nicht Tausend mal größer als Datenfehler auf Platten, deren Kapazität ist aber entsprechend größer und nicht jeder RAM Fehler führt zu einem Schreibfehler. Viel häufiger sind Falschberechnungen oder einfach Abstürze.

Die Faktenlage ist aber dürftig. Die umfassendste Untersuchung ist die Cern Studie von 2007 bei der 8,7 TB mit einer einheitlichen 2G Datei geschrieben wurden. ECC wurde genutzt und auch die Anzahl der Errors genannt. Nach 5 Wochen wurden alle Dateien überprüft und es wurden 22 veränderte Dateien (eine pro 1500) gefunden. Silent Data error ist also ein Problem und vor allem bei großen Datenträgern. RAM als Hauptursache ist zumindest in der Studie nicht belegt. Es wurden aber RAM ECC Fehler belegt. Ohne ECC RAM wäre damit diese Fehlerrate noch höher gewesen.


ein Kommentar
CERN’s data corruption research

die Studie
http://indico.cern.ch/event/13797/s...tachments/115080/163419/Data_integrity_v3.pdf

Ist aber letztlich akademisch.
Man kann jetzt sagen heutiger RAM und Platten wären besser, ich glaube das nicht. Die viel kleineren Strukturen legen eher mehr Probleme nahe. Sicher ist aber dass Storage ohne neue Dateisysteme mit Prüfsummen wie btrfs, ReFS oder eben ZFS und ohne ECC RAM unsicherer Speicher ist. Es gibt dann garantiert unentdeckbare und unentdeckte Fehler.
 

jurke

Enthusiast
Thread Starter
Mitglied seit
25.03.2007
Beiträge
228
Vielen Dank für euren ausführlichen Input!
Die dürftige Datenlage macht eine realistische Einschätzung der Gefahr schwierig. Da mir Sicherheit und Wartungsarmut wichtig sind fallen gängige NAS wohl aus dem Raster.

Für mich bleiben als weitere Fragenkomplexe
- die Bedienbarkeit.
Inwieweit leidet die Bedienbarkeit offener Server-OS gegenüber aktuellen NAS?
Ich bin bisher Windows-Nutzer ohne wesentliche Lunix/Unix-Erfahrung. Erfordert das Aufsetzen von Serverhardware viele zusätzliche Kenntnisse?
Das System sollte nach erstmaliger Einrichtung stabil und wartungsarm laufen. Welches OS ist für mein Profil zu empfehlen?

- Selbstbau oder Fertiglösung à la HP Gen8
Bisher habe ich alle meine Rechner selbst aufgebaut. Wenn ich ein aktuelles Build auf Sockel 1151-Basis nehme komme ich Pi mal Daumen auf 500€.
1 x Intel Pentium G4400, 2x 3.30GHz, boxed (BX80662G4400)
1 x Samsung DIMM 16GB, DDR4-2133, CL15, ECC (M391A2K43BB1-CPB)
1 x MSI C236M Workstation (7972-018R)
1 x Supermicro X11SSL-F retail (MBD-X11SSL-F-O)
~400€ + ca. 100 € für Gehäuse, Netzteil und Verkabelung

Was ist von MSI und Gigabyte als Serverboardherstellern zu halten? Mir sind diese bisher nur aus dem Consumerbereich bekannt.

Ein HP Gen 8 kostet einige hundert Euro weniger. Ältere Optionen wie das Fujitsu MX130 S2 noch mal deutlich günstiger.
Wie bewertet Ihr das?

- HDD-Auswahl
Meine 4 TB HDD ist eine WD Red mit ca. 5800 Betriebsstunden. Sollten die zu beschaffenden HDDs ebenfalls WD Red werden oder ist hier freie Wahl möglich?
Für ein ZFS brauche ich mindestens 2 weitere Platten.
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.344
Für ein reines NAS macht Selbstbau nur Sinn wenn es einem Spass macht.
Ansonst ist ein HP G8 Microserver mit etwas mehr RAM unschlagbar.

Serverhardware unterscheidet sich von Desktophardware durch Fernwartung (ipmi), mehr Slots und der Unterstützung von ECC RAM und VT-d. Die interessantesten Hersteller sind SuperMicro und neuerdings Asrock.

Für ZFS gibt es keine Mindestanzahl von Platten. Es sollten aber mindestens 2 für einen Mirror sein.
Für einen normalen Homeserver dürfte ein Mirror mit einer oder zwei herausziehbaren Platten für Backup die häufigste Lösung sein.

Ein Fertig NAS wie Qnap/Synology zeichnet sich nicht durch besondere Schnelligkeit oder Sicherheit aus sondern durch den Komfort insbesondere mit den 1000 Zusatzprogrammen für Heimnutzung aus. Diesen Komfort gibt es in dem Umfang nur da.

Die Hauptalternativen dazu sind webbasierte ZFS Appliances.
Die beste Unterstützung und die meisten Features für ZFS gibs nach wie vor bei Solaris oder dem freien Fork Illumos wo ZFS herkommt. Das sind also Lösungen wie NexentaStor CE oder Solaris/OmniOS mit meiner napp-it GUI

Installation (Englisch) für OmniOS oder Solaris siehe http://www.napp-it.org/doc/downloads/napp-it.pdf
Bei NexentaStor kann man einen Installer herunterladen und davon installieren.

Die Alternative sind Lösungen auf Basis von Free-BSD, einer weiteren Unix Variante
wie FreeNAS oder Nas4Free.

Obige Lösungen sind eigentlich: Installieren und vergessen, Bedienung über Browser. Das gilt aber nur wenn es rein um Storage geht (Also im Wesentlichen einen iSCSI, NFS und SMB Dateiserver). Lösungen unter Linux würde ich nicht als annähernd so einfach oder bei ZFS so ausgereift bezeichnen.

Wenn man allerdings die vielen Apps benötigt, die Qnap oder Synology so mitliefern und das auch noch komfortabel haben möchte, dann gibts keine Alternative zu denen.
 

grobinger

Experte
Mitglied seit
09.06.2011
Beiträge
3.688
Ort
Muc
Wenn man allerdings die vielen Apps benötigt, die Qnap oder Synology so mitliefern und das auch noch komfortabel haben möchte, dann gibts keine Alternative zu denen.

halte ich für ein gerücht. OpenMediaVault hat auch die plugins die man als privatanwender so braucht. btw finde ich den aktuellen synology DSM richtig furchtbar, diese desktopmetapher ist eine grenzdebile idee...
 

Digi-Quick

Urgestein
Mitglied seit
02.09.2009
Beiträge
6.658
Auch FreeNas hat da so einige Plugins.
Nas4Free ist da etwas bescheidener - wobei seit neuestem mit Virtualbox sogar VMs möglich sind (wirklich stabil löppt das aber bislang nicht - zumindest bei mir)
 
Zuletzt bearbeitet:

GuNa

Experte
Mitglied seit
08.12.2011
Beiträge
245
Aus meiner praktischen Erfahrung kann ich nur sagen lasst mal die Kirche im Dorf.
Diese theoretischen Diskussionen über ECC als absolute Voraussetzung für ein NAS halte ich für echt übertrieben. Aussagen wie "wer seine Daten liebt kauft ECC RAM" sind echter quatsch. Wer seinen Kopf liebt kauft sich einen Helm und vorher verlässt er nicht das Haus??
Hier meine praktischen Erfahrung in intensiver Nutzung von NAS Servern:
Ich habe hier 5 NAS Systeme in unterschiedlichen Ausprägungen seit Jahren am laufen:
2 x HP Gen7 mit ECC
1 x Acer H341 ohne ECC
1 x Eigenbau mit Supermicro X9scm mit ECC
1 x Eigenbau mit Conusmer Board ohne ECC

Insgesamt ca 12 TB Daten (Fime, Musik, ISO Dateien, VMs, Dokumente, Datenbaken, etc)

als OS im Einsatz:
Openmediavault (mit ZFS plugin), Xpenology (Ext4), OmniOS+Napp-it (ZFS)

Keiner der genannten Dooms Day Szenarien ist jemals bei mir aufgetreten. Weder mit ECC RAM als auch ohne ECC RAM.
Fakt ist das Eigenbausysteme mit ECC RAM i.R. teurer sind als ohne. Oft wird geschrieben das ECC RAM nicht wesentlich teurer ist als normaler RAM. Falsch!. Für ECC RAM braucht man sowohl den passenden Prozessor als auch das richtige Board und diese Komponenten sind meistens teurer als die üblichen Consumer Hardware. Somit sind Systeme mit ECC RAM meistens/mindestens 20-30% teurer als normale Systeme.

Mein Empfehlung:
1) Nimm ein NAS womit Du zurecht kommst. Damit eliminierst Du schon mal einen großen Anteil an möglichen Datenverlust Szenarien (wegen Fehlbedienung)
2) Wenn Du kannst teste die verschiedenen OS in einer virtuellen Maschine und treffe dann Deine Entscheidung.
3) Benutze die 80/20 Regel damit Dein Budget im Rahmen bleibt
4) Leg Dir eine gute Sicherungsstrategie zurecht.!!!!

Die FreeNAS Diskussion zu ECC kann man getrost ignorieren. Wenn das alles zutreffen würde was da an theoretischen (Daten) Weltuntergangszenarien aufgezählt wird dann fragt man sich wie die Menschheit die letzten 20 Jahre überlebt hat.
Es werden viele NAS Systeme millionenfach in Haushalten/KMU/SOHO eingesetzt und die funktionieren alle ohne ZFS und ECC RAM sauber und zuverlässig.

Im folgendem Punkt schließe ich mich gea an:
Willst Du ein einfaches NAS mit wenig Aufwand kauf dir eine fertige Lösung. QNAP und Synology sind gute Adressen dafür. Du zahlst zwar vielleicht mehr als ein Eigenbau aber dafür hast Du nur einen Ansprechpartner bei Problemen und die entsprechende Garantie. Die Konfiguration ist extrem einfach und Wartungs- und Updateaufwand ist relativ gering.

Möchtest Du ZFS nutzen dann musst Du Dich in das Thema einlesen und auch tiefer in die Konfiguration eingreifen.
Von Xpenology rate ich ab da es zu sehr eine Bastellösung ist. Aber alle anderen NAS OS kann ich empfehlen - Abhängig von Deinen Anforderungen.

My 2 Cents
 

Opticum

Experte
Mitglied seit
15.08.2013
Beiträge
960
@GuNa: Bsp. es gebe eine Impfung gegen Krebs die kostet Geld. Du fährst seit Jahrzenten ohne Krebs durch die Gegend. Gehst du jetzt davon aus das alle anderen das auch nicht brauchen?

Ich halte eher so Aussagen von dir wie
Aussagen wie "wer seine Daten liebt kauft ECC RAM" sind echter quatsch.
für echten "Quatsch".
 

GuNa

Experte
Mitglied seit
08.12.2011
Beiträge
245
@ Opticum
Naja - es ist die Frage wie viel er bereit ist auszugeben. Es geht um eine Risikoeinschätzung. Genauso wie bei einer Versicherung. Nur weil es irgendwo auf der Welt Malaria gibt lass ich mich nicht in Deutschland dagegen impfen.
Es geht darum das alles in der richtigen Relation zu sehen.
Ich denke eine Bit-Rot ist wesentlich seltener als eine Fehler durch die Fehlbedienung eines Systems was man nicht kennt. Ob er ECC braucht muss er entscheiden aber es ist absolut keine Voraussetzung für eine funktionierendes, fehlerfreies NAS System. Das ist das was ja immer suggeriert wird.
 

mawel

Enthusiast
Mitglied seit
17.09.2003
Beiträge
2.305
Ort
Fischkopp
Ich kann die Hetze auf nonECC und nichtZFS auch nicht nachvollziehen. Gerade im Einstiegs- und Installieren&Vergessen Bereich sind z.B. die Synology Geräte unschlagbar. Das was die Dinger im Idle ziehen (~7W Arm basiert) verbraucht der Homeserver wenn er nur ausgeschaltet am Netz hängt... ;) / Volllast Nas = Idle Homeserver) - von der Lautstärke und WAF ganz zu schweigen. Administrieren der Dinger ist ein Kinderspiel. Meine 5 Jahre alte Snology DS bekommt immer noch problemlos alle Updates mit dem neuesten Stand.
Sicherlich haben Freenas/Openvault/Nas4free etc. ihren Reiz, aber dabei ist eine PC Affinität & Zeit vorrauszusetzen die viele einfach nicht haben...
ECC und ZFS sind unbestreitbar sicherer, keine Frage. Alles eine Frage des Kosten/Nutzen Faktors.
 

grobinger

Experte
Mitglied seit
09.06.2011
Beiträge
3.688
Ort
Muc
Sicherlich haben Freenas/Openvault/Nas4free etc. ihren Reiz, aber dabei ist eine PC Affinität & Zeit vorrauszusetzen die viele einfach nicht haben...

für die installation muss man ca. 5 mal auf enter drücken und ein rootpasswort vergeben. ab da sind die genannten OS eigentlich genauso einfach zu administrieren wie eine synology, imho sogar einfacher wegen dem grausigen UI des aktuellen DSM.
 

Holt

Legende
Mitglied seit
05.07.2010
Beiträge
20.463
Ich würde nicht RAM als Hauptursache für Silent Errors sehen.
Die Risikoabschätzung muss jeder für sich vornehmen, aber mal ein Zitat aus der Zen Studie:
Memory errors
We have 44 reported memory errors (41 ECC and 3 double bit) on ~1300 nodes
during a period of about 3 month.


But there is also a problem
with the correct reporting of ECC errors to the IPMI level, which is motherboard
dependent and we might have not ‘seen’ all errors.
Also bei einem von 30 in 3 Monaten, mindestens!

Die Häufigkeit ist sicher nicht Tausend mal größer als Datenfehler auf Platten, deren Kapazität ist aber entsprechend größer
Nochmal: HDDs haben Schutzmechanismen, ein gekipptes Bit auf dem Medium wird durch die ECC hinter jedem Sektor erkannt und korrigiert, auch 2 ocder 3, das ist kein Thema. Ohne ECC RAM werden RAM Fehler weder erkannt noch korrigiert.
nicht jeder RAM Fehler führt zu einem Schreibfehler.
Das ist richtig, aber bedenke das alle modernen OS sonst unbelegtes RAM als Diskcache benutzten. Es kann also passieren, dass man eine Datei abends schreibt, die landet korrekt auf der Platte und bleibt im RAM gecacht, Nachts kippt spontan ein Bit und morgens liest man die Datei wieder, bekommt aber statt der korrekten Version von der Platte die krrupte aus dem RAM Cache geliefert. Spätestens wenn man sie wieder speichert, ist sie dann auch auf der Platte korrupt. Eben weil solche Storage Server meist lange / dauernd laufen, sind die Risiken durch RAM Fehler höher.
Viel häufiger sind Falschberechnungen oder einfach Abstürze.
Das hängt ja immer davon ab, was in dem betroffenen RAM Bereich liegt und bei einem Storage Server werden das eben vor gecachte Daten und gerade bei ZFS auch dessen umfangreiche Metadaten sein. Außer dem OS und ein paar Plugins läuft da ja gewöhnlich nicht viel.
ECC wurde genutzt und auch die Anzahl der Errors genannt.
Wobei die Studie über 3000 Nodes ging und nur die Daten zu RAM Fehlern von 1300 genannt wurden, was ist mit den anderen 1700? Haben die kein ECC RAM und daher konnten keine Daten zu RAM Fehlern erhoben werden? Das würde zu den 10% Singlebit Fehler passen, denn das ist typisch für RAM Fehler. Man müsste dann noch untersuchen, ob auf den gleichen Maschinen immer das gleich Bit in der gleichen Art gekippt ist, was Hart-Errors typisch ist. Da ist dann z.B. Bit 7 statt 0 manchmal eben einfach 1.
Nach 5 Wochen wurden alle Dateien überprüft und es wurden 22 veränderte Dateien (eine pro 1500) gefunden.
War das nur auf Rechnern wo keine RAM Fehler aufgetreten sind und die auch alle richtig funktionierdens ECC RAM haben? Außerdem gingen dort 80% der Fehler auf ein Problem von deren HW:
64k regions of corrupted data, one up to 4 blocks (large correlation with the
3ware-WD disk drop-out problem) (80% of all errors)
Das kann passieren und Filesysteme mit Prüfsummen schützen vor solche Problemen, aber wie wahrscheinlich sind solche FW Bugs generell?

There are some correlations with known problems, like the problem where disks drop out
of the RAID5 system on the 3ware controllers. After some long discussions with 3Ware
and our hardware vendors this was identified as a problem in the WD disk firmware. We
are currently updating the firmware of about 3000 disks.
Da das natürlich nicht alltäglich ist, dürfte es eben auch nicht, so wahrscheinlich sein, kann sich aber halt auch wiederholen. Samsung hatte bei der F4 EcoGreen Serie ja auch einen FW Bug der im AHCI Modus Daten im Schreibcache bei Senden des ATA-Befehls "IDENTIFY DEVICE" die Daten verändern konnte, also zu Datenkorruption geführt hat. Sowas kommt mal vor, ist aber nicht die Regel.

Ebenso hatten sie offenbar ein Problem mit den RAMs:
We also had a case of memory incompatibility where memory modules on 120 nodes had
to be exchanged. In this area one can watch in industry the problem of shorter and shorter
periods of ‘throwing’ new chipsets on the market and a growing memory-chipset
problem-matrix. During our tests we have also seen errors on high-end hardware and the
recent publications about disk reliabilities
also indicate no major difference between
different types of hardware.
Und wieso erwähnen sie das mit dem Unterschied "difference between
different types of hardware", das sollte doch jeder wissen und so ein Laden wie Cern sollte entsprechende Server-HW verwenden, aber darüber findet sich nichts und die Erwähnung lässt da auch Zweifel aufkommen, es liest sich so als würde die Tatsache geradezu überraschen.


Silent Data error ist also ein Problem und vor allem bei großen Datenträgern. RAM als Hauptursache ist zumindest in der Studie nicht belegt.
Dafür sind die Informationen zu dünn. Es fehlen viele wichtig Informationen, z.B. ob die 1700 nodes bei denen es keine Informationen zu erkannten RAM Fehlern gibt, nun auch ECC RAM haben und es auch funktioniert hat oder nicht. Wenn nicht, wie haben sich die Fehlerr vor allem die die nicht auf die WD FW zurückzuführen waren, denn nun auf die Rechner mit und die ohne ECC RAM verteilt?

Was für HDDs wurden verwendet? Hatten diese eine Internal-Data-Path-Proection (also Enterprise HDDs) oder nicht und wenn nicht, gab es wenigstens eine Ende-zu-Ende Fehlererkennung und wurden dort in den S.M.A.R.T. Werten Fehler hinterlegt? Das ist bei Consumer Platten eine Schwachstellen, aber beim Blick auf S.M.A.R.T. Werte der User in den Foren, fallen dort nur sehr selten Fehler auf.

Daher taugt die Studie nur dazu zu belegen, dass RAM Fehler und auch Silent-Data-Korruption real existieren, weniger zur Quantifizierung des Problem oder gar dessen Ursachen.
Es wurden aber RAM ECC Fehler belegt. Ohne ECC RAM wäre damit diese Fehlerrate noch höher gewesen.
Es wurden nicht RAM ECC Fehler belegt, es wurde nur das ECC RAM in den 1300 der 3000 nodes belegt, dass dort RAM Fehler aufgetreten sind und ohne ECC hätte man diese allenfalls an deren Auswirkungen bemerkt.

Man kann jetzt sagen heutiger RAM und Platten wären besser, ich glaube das nicht.
Da die Datendichte bei beiden steigt, fürchte ich auch das die Fehlerrate damit eher steigt als fällt, aber Belege habe ich dafür auch keine. bei NANDs ist es aber so, dass die interne Bitfehlerrate und damit der Aufwand für die interne ECC mit schrumpfenden Strukturgrößen immer mehr angestiegen ist.
Sicher ist aber dass Storage ohne neue Dateisysteme mit Prüfsummen wie btrfs, ReFS oder eben ZFS und ohne ECC RAM unsicherer Speicher ist.
Ja, daher verwenden Profis auch zuerst einmal ECC-RAM bei allen Rechnern und vor allem Severn und dann solche modernen Filesysteme mit Prüfsummen und Fehlerkorrekturen und eben nicht umgekerht.

Aber wer es anderes machen will und meint die Aussage des ZFS Mitentwicklers "wer seine Daten liebt kauft ECC RAM" sein echter Quatsch, bitte es sind seine Daten und ja, wenn man die 1:30 Fehlerraten der RAMs bei Cern zugrunde legt, hat er ja auch eine recht gute Chance ohne RAM Fehler davon zu kommen. Laut der google Studie sind die Chancen allerdings schlechter:
Aber es sind ja nicht meine Daten :d

- - - Updated - - -

PS: Sehe gerade noch mal hier:
1:10^14 sind einfache Consumerplatten und das legt dann wirklich den Verdacht nahe, dass die 1700 nodes bei denen es keinen Hinweis auf die ECC Fehler gibt, auch kein ECC RAM haben, sondern es auch nur einfache Consumer-HW ist. Die wird ja leider wegen der günstigen Preise immer wieder gerne mal dort eingesetzt, wo sie nicht hingehört, allen Warnhinweisen der Hersteller zum Trotz. Damit wäre die Frage wie sich die Fehler, vor allem die Single-Bit Fehler zwischen den Rechnern mit ECC RAM und denen ohne aufteilen, umso interessanter.
 

GuNa

Experte
Mitglied seit
08.12.2011
Beiträge
245
Also bei allem Respekt. Das sind Statistiken die, meiner Meinung nach, keine Mehrwert für eine NAS Kauf im SOHO Bereich haben. Genauso wie Statistik der Anzahl von Autounfällen/pro Kopf in Deutschland...
Ich behaupte mal das ein einfaches NAS mit einer anständigen Sicherung für jurke nicht nur vielleicht günstiger ist sondern auch seinen Anforderungen völlig genügen wird.
Wenn er ein NAS für viel Geld kaufen/bauen möchte dann ist das auch ok. Aber diese Angstmacherei finde ich nicht ok. Es würde mich mal interessieren wie die Firma Synology oder QNAP zu diesen Aussagen stehen? Heißt es nun das ihre System nicht sicher sind? Auch Ihre Profi Systeme? oder jeder Linux Server der nonECC und/oder Standard Dateisysteme wie Ext3/Ext4 einsetzt automatisch fehlerhafte Daten haben wird?
Was nutzt das beste NAS wenn durch ein fehlerhafte Konfiguration (Jumbo Frames, MTU, Kabel, etc. etc) Dateien schon korrupt ankommen?
Der Mann brauch ein einfaches System mit einer anständigen Datensicherung welches er Sicher handhaben kann und was ihn nicht gleich ein Vermögen kostet. Kein Data Center a la Google.

Wie auch immer - ohne eine anständige Datensicherung steht er früher oder später wieder vor einem Problem.
.
 

grobinger

Experte
Mitglied seit
09.06.2011
Beiträge
3.688
Ort
Muc
deswegen kauft man halt gleich den HP microserver, kostet weniger als ein 4bay NAS, kann aber mehr (zb. ECC :3).

- - - Updated - - -

wobei ich deine einschätzung teile, ich glaub der privatanwender muss sich da wirklich nicht verrückt machen mit, im zweifel wird man es überleben, wenn doch mal eine datei corrupted und nicht mehr lesbar ist.
 

flxmmr

Experte
Mitglied seit
15.01.2015
Beiträge
3.580
Wie genau bei TCP Probleme mit Kabeln Einfluss auf die Datenintegrität haben sollen, müsste mir auch mal jemand erklären... Im allgemeinen würde ich auch einfach sagen, dass bis etwa 150€ die Geräte von Synology/Qnap/Netgear schon ok sind, da geht es dann einfach um eine zentrale Ablage für Bilder/Musik/Videos und den Austausch einiger Dokumente, die ohnehin auf Rechnern ohne ECC bearbeitet und gespeicher/gesichert werden.
Möchte man dann mehr als die damit möglichen 4-8TB Speicher, weiß ich nicht, warum man dann noch 300€ für ein 4-Bay Synology ausgeben sollte, wenn man dafür auch (200€ für HP + 3h Arbeit) in allen Aspekten besseres bekommt (das dann auch die 120MB/s packt bspw.)...
 

OpamitKruecke

Enthusiast
Mitglied seit
11.05.2010
Beiträge
2.074
Wie genau bei TCP Probleme mit Kabeln Einfluss auf die Datenintegrität haben sollen, müsste mir auch mal jemand erklären... Im allgemeinen würde ich auch einfach sagen, dass bis etwa 150€ die Geräte von Synology/Qnap/Netgear schon ok sind, da geht es dann einfach um eine zentrale Ablage für Bilder/Musik/Videos und den Austausch einiger Dokumente, die ohnehin auf Rechnern ohne ECC bearbeitet und gespeicher/gesichert werden.
Möchte man dann mehr als die damit möglichen 4-8TB Speicher, weiß ich nicht, warum man dann noch 300€ für ein 4-Bay Synology ausgeben sollte, wenn man dafür auch (200€ für HP + 3h Arbeit) in allen Aspekten besseres bekommt (das dann auch die 120MB/s packt bspw.)...

Naja 3 Stunden Arbeit wären bei mir ca. 240 Euro Stundenlohn brutto...
 

mawel

Enthusiast
Mitglied seit
17.09.2003
Beiträge
2.305
Ort
Fischkopp
für die installation muss man ca. 5 mal auf enter drücken und ein rootpasswort vergeben. ab da sind die genannten OS eigentlich genauso einfach zu administrieren wie eine synology, imho sogar einfacher wegen dem grausigen UI des aktuellen DSM.

Nachdem Du das Image runtergeladen, einen bootbaren USB Stick erstellt, die Bioseinstellungen verändert, festgestelltst das der Ram inkompatibel ist, ein Kabel wieder festgesteckt hast etc. .....

Habt Ihr den Startpost gelesen?
Ganz ehrlich, Daten eines Rechenzentrums das Petabytweise Daten durch 1300 Enterprise Server jagt als Argument für ein Homeoffice Nas ranzuziehen? Das nenne ich mal Panikmache! :stupid::stupid::stupid:
Bitte vergesst nicht gleich die USV´s (natürlich auch für die Laptops :cool:), die 3 zusätzlichen NAS für jährliche/monatliche/wöchentliche Backups (am besten beim Nachbarn damit örtlich getrennt und stromsparend :asthanos: ) und den Backbone zum Bergwerks/Bunker Data-Vault mit einzukalkulieren....

Der Microserver hat sicherlich ein unschlagbares P/L Verhältnis. Nur würde ich den nicht uneingeschränkt empfehlen falls Aspekte wie Stromverbrauch / Usability / Lautstärke / Größe / WAF etc. eine Rolle spielen, evtl. hat man ja auch noch ein Haufen alter Platten unterschiedlicher Größe rumfliegen (SHR).

Das hier ist wie im Autohaus. Der Kunde sucht nen kleinen Cityflitzer zum einkaufen und Ihr schwatzt Ihm den SUV auf indem Ihr Ihn einredet das er damit ja auch bei Tiefschnee und Hochwasser hinkommt. Stimmt ja auch, fragt sich nur ob der Supermarkt dann noch offen ist.

Naja 3 Stunden Arbeit wären bei mir ca. 240 Euro Stundenlohn brutto...
eben
 
Zuletzt bearbeitet:

grobinger

Experte
Mitglied seit
09.06.2011
Beiträge
3.688
Ort
Muc
Nachdem Du das Image runtergeladen, einen bootbaren USB Stick erstellt, die Bioseinstellungen verändert, festgestelltst das der Ram inkompatibel ist, ein Kabel wieder festgesteckt hast etc. .....

der HP microserver kommt verwendungsfertig, image ist in 5 minuten runtergeladen und wenn es einen überfordert, einen bootbaren usb stick zu erstellen, na dann sollte man wohl ganz die finger davon lassen. und selbst wenn man absurderweise die 3 stunden arbeitszeit mit 240€ einrechnet, kommt man mit dem microserver immer noch günstiger als mit einem vergleichbaren synology NAS...
 

Holt

Legende
Mitglied seit
05.07.2010
Beiträge
20.463
Also bei allem Respekt. Das sind Statistiken die, meiner Meinung nach, keine Mehrwert für eine NAS Kauf im SOHO Bereich haben. Genauso wie Statistik der Anzahl von Autounfällen/pro Kopf in Deutschland...
Und trotzdem kauft sich die Mehrheit ein Auto mit einer guten Sicherheitsausstattung welches auch möglichst 5 Sterne im Crashtest erzielt hat, obwohl keiner damit einen Unfall haben möchste. Einfach weil er es nicht ausschließen kann und dann möglichst große Chancen haben will, unverletzt oder wenigstens lebend davon zu kommen.

Das die Statistiken nicht taugen ein allgmeines oder gar persönliches Risiko zu bestimmen ist klar, aber sie zeigen eben das es ein Problem gibt, auch wenn das anderes als bei den Autounfällen eben nicht jeder wahrhaben möchte. Ob das Risiko nun mit dem NAS xyz ohne ECC RAM einmal Opfer von Silent-Data-Corruption zu werden und wichtige Daten für immer zu verlieren bei 0,1%, 1% oder 10% liegt, ist nicht bestimmbar und letztlich egal. Mit einer HW die ECC RAM unterstützt und hat, ist es auf jeden Fall geringer, da eben die RAM Fehler als mögliche Ursache dann wegfallen und egal wie hoch mal das Risko nun bewerten mag, wer es ohne ECC RAM mit 0 ansetzt, ist ein unrealisitischer Träumer, denn alle Statitiken zeigen das es da ein Risiko gibt und die Hersteller haben sich Advanced ECC Technologien auch nicht zum Spaß ausgedacht und verbauen den Servern sowas nicht aus Jux und Dollerei.
Ich behaupte mal das ein einfaches NAS mit einer anständigen Sicherung für jurke nicht nur vielleicht günstiger ist sondern auch seinen Anforderungen völlig genügen wird.
Was welchen Anforderungen genügt, hängt von den Anforderungen ab und wenn diese eine erhöhte Sicherheit vor Silent-Data-Corruption vorsehen, ist ECC RAM Pflicht. Die Backups schützen einen davor meist nicht, denn diese passiert eben i.d.R. unbemerkt und wenn es dann bemerkt wird, sind meist auch die Dateien auf dem Backup schon betroffen, man kann ja auch nicht jedes alte Backup behalten.
Aber diese Angstmacherei finde ich nicht ok.
Was heit hier Angstmacherei, es gibt darum dazustellen wo die Risiken wirklich liegen und da haben viele keine korrekten Vorstellungen und die meisten glauben, die Platten würden einfach so die Daten verändern, aber das ist mit Ausnahme der seltenen Fehler auf den internen Datenpfade (die i.d.R. auch RAM Fehler des Cache RAMs sind, das ist ja der Arbeitsspeicher des Controllers der Platte), praktisch nuie der Fall. HDDs und SSDs haben eine ECC für jeden Sektor bzw. jede Page und auch die Übertragung über SATA ist mit CRC gesichert, Fehler werden dort mit sehr hoher Zuverlässigkeit erkannt und dann gibt es zwar Datenkorruption, eben z.B. einen Lesefehler, aber die ist nicht Silent.

Nur mal als Hinweis, die Wahrscheinlichkeit unkorrigierbarer Bitefehler wird für HDDs mit 1:10^14 bis 1^10^16 (2.5" Enterprise) angegbeen, die von unerkannten Bitefehlern ist noch einmal ungleich geringer. Zur Wahrscheinlichkeit das die CRC32 auf den 8K Daten die SATA pro FIS übertragen kann ein Fehler unentdeckt bleibt, lies mal hier:
Außerdem sollte man, wenn man den Ultra-DMA-CRC Fehler in den S.M.A.R.T. Werten findet, das SATA Kabel prüfen und ggf. tauschen. Ebenso HDDs entsorgt, bei denen es einen Ende-zu-Ende Fehler gab, auch wenn das leider nicht alle Consumer HDDs erkennen und anzeigen, gerade die von WD nicht und die WD Red ist für NAS ja sehr beliebt.

Es würde mich mal interessieren wie die Firma Synology oder QNAP zu diesen Aussagen stehen?
Die werden darauf verweisen, dass die Sicherheit für den normalen Nutzer ausreichend groß ist, so wie die CPU und PC Hersteller ja auch bei den Consumergeräte auf ECC RAM verzichten, weil es bei den meisten Kunden eben trotzdem ausreichend gut funktioniert und billiger ist. Wert mehr Sicherheit will, der muss auf die teureren Lösungen, bei Intel dann auf Xeon CPUs und Chipsätze oder eben die Atom C2xxx ausreichen.
Heißt es nun das ihre System nicht sicher sind?
Bei Thema Sicherheit kann und darf man niemals Schwarz-Weiß denken, sondern in Graustufen den es geht immer im Wahrscheinlichkeiten. Alleine mit der Frage zeigst Du ja doch, dass Du Dich mit dem Thema noch nie wirklich auseinandergesetzt hast, also nur eine Meinung vertrittst ohne Ahnung vom Thema zu haben. Das ist traurig, aber leider weit verbreitet.
Auch Ihre Profi Systeme?
Sie bieten doch Profi-NAS mit ECC RAM an, vermarkten aber leider auch Geräte ohne ECC RAM für Einsatze, wo ich persönlich niemals auf ECC RAM verzichten würde.
oder jeder Linux Server der nonECC und/oder Standard Dateisysteme wie Ext3/Ext4 einsetzt automatisch fehlerhafte Daten haben wird?
Das ist eben der Denkfehler Deiner Schwarz-Weiß Sichtweisen, die haben natürlich nicht alle automatisch Fehler, wäre es so würde sie keiner mehr dafür einsetzen. Die gehen aber ein größeres Risiko ein Fehler zu bekommen. In Deiner Schwarz-Weiß Denkweise wirst Du daher nun dem Umkehrschluß ziehen und sagen, wenn die nicht alle automatisch Fehler bekommen, dann bekommt keiner welche, nur würde das beideten, es gib also keine RAM Fehler und Silent-Data-Corruption. Das ist aber z.B. vonder Cern Studie wiederlegt und auch manch ein Heimanwender musste schon erfahren, dass es diese Problem sehr wohl gibt. Statt aber die Zusammenhänge und Wahrscheinlichkeiten zu begreifen, verschliesst Du lieber die Augen vor dem Problem, wie es so viele andere auch machen.
Was nutzt das beste NAS wenn durch ein fehlerhafte Konfiguration (Jumbo Frames, MTU, Kabel, etc. etc) Dateien schon korrupt ankommen?
Auch über Ethernet werden Übertagungen mit Prüfsummen (eine CRC pro Frame) abgesichert und wiederholt, wenn es dabei zu Fehlern kam. Wie Du siehst sind überall dort wo es oft zu Fehlern kommt, auch schon Sicherungen eingebaut, nur eben beim RAM bisher nicht nicht generell, auch wenn ja die JEDEC mit DDR4 immerhin die Fehlerwahrscheinlichkeiten bei der Übertragung von Daten minimiert:
Das ist aber nur ein Schutz bei der Übertragung aufgrund der Protokolländerung, die Inhalte des RAMs werden dabei nicht geschützt, dafür braucht man weiterhin ECC RAM. Aber alleine das man dort nachgebessert hat, zeigt das es bei der Übertragung offenbar öfter zu Probleme gekommen ist, denn sonst wird für Consumer HW nicht in mehr Sicherheit vor Bitfehlern investiert. Consumer HW muss zuerst einmal billig sein, hohen Ansprüche an die Zuverlässigkeit, auch die Sicherheit vor Datenkorruption, darf man da nicht stellen!
was ihn nicht gleich ein Vermögen kostet.
So ein HP Proliant Gen8 ist mit 203€ doch sogar als die allermeisten 4 Bay NAS, von Vermögen kosten kann da nun wirklich nicht die Rede sein, auch wenn man noch einen guten USB Stick als Systemlaufwerk oben drauf rechnen muss.

Wie auch immer - ohne eine anständige Datensicherung steht er früher oder später wieder vor einem Problem.
Nochmal: Datensicherung gehört immer dazu, egal wo die Daten stehen. Aber die schützt eben nicht vor Silent-Data-Corruption, da die Dateien ja irgendwann unbemerkt korrumpiert werden, ohne ECC RAM womöglich schon wenn sie erstmals auf das NAS übertragen werden, die landen ja aller erstmal im RAM bevor überhaupt ein Filesystem wie ZFS seine Pürfsummen berechnen kann. Dann wurde womöglich A geschrieben und B wird gelesen, schon ist es passiert, die Prüfsumme wir aber für B erstellt und der Fehler fällt gar nicht auf, bis die Datei gelesen und mit dem Original verglichen wird oder eben das Archive nicht mehr entpackt werden kann.

da geht es dann einfach um eine zentrale Ablage für Bilder/Musik/Videos und den Austausch einiger Dokumente, die ohnehin auf Rechnern ohne ECC bearbeitet und gespeicher/gesichert werden.
Klar sind die OK und reichen den meisten auch und auch der PC der kein ECC RAM hat ist eine Quelle für Datenkorruption, aber diese NAS beiten eben auch keinerlei Schutz davon. Man fährt da gewissermaßen in der höchsten Risikoklasse, da alle möglichen Fehler auftreten können und es außer den sowieso bei der jeweiligen Techik vorhandenen Schutzmaßnahmen (eben die ECC der HDD hinter jedem Sektor, CRC bei Übertragungen über SATA und Ethernet) nichts gibt.
Möchte man dann mehr als die damit möglichen 4-8TB Speicher, weiß ich nicht, warum man dann noch 300€ für ein 4-Bay Synology ausgeben sollte, wenn man dafür auch (200€ für HP + 3h Arbeit) in allen Aspekten besseres bekommt (das dann auch die 120MB/s packt bspw.)...
Wie lange man braucht hängt von jedem selbst ab, aber auch das Einrichten eines Fertig-NAS ist nicht ohne einen gewissen Zeitaufwand mögich, da muss man auch das Netzwerk konfigurieren, Accounts anlegen, Rechte vergeben, etc.

Naja 3 Stunden Arbeit wären bei mir ca. 240 Euro Stundenlohn brutto...
Das ist doch egal, das ist Hobby und da kann man doch nicht die Stunden berechnen die man damit verbringt. Wwenn ich mir meine Zeit vor meinem Rechner mit meinem Stundensatz vergüten müsste, wäre ich pleite.

Nachdem Du das Image runtergeladen, einen bootbaren USB Stick erstellt, die Bioseinstellungen verändert, festgestelltst das der Ram inkompatibel ist, ein Kabel wieder festgesteckt hast etc. .....
Es gibt zu dem Gen8 einen Sammelthread, da steht drin welche HW kompatibel ist und außerdem hat der ab Werk von 4GB, also mehr als die NAS in ähnlichen Preiklassen. Man muss das RAM nicht erweitern um eine ordentlich Performance zu bekommen.
Habt Ihr den Startpost gelesen?
Ja, offenbar im Gegensatz zu Dir habe ich das sehr wohl und da steht:
Jetzt habe ich in der Vergangenheit schlechte Erfahrungen mit korrupten (leider wichtigen) Daten auf externen Platten gemacht, deren Ursache ich nicht genau kenne. Das verunsichert mich und ich weiß nicht, ob ECC und ZFS, btrfs und wie sie alle heißen wirklich nötig ist. Unsere Daten sollten aber auch langfristig verfügbar bleiben.
Daher empfehle ich die Lösung mit dem ECC RAM, da das der Grundbaustein für mehr Sicherheit vor Datenkorruption ist und natürlich kann man den Aufwand weiter treiben um die Wahrscheinlichkeit weiter zu senken. Am Ende landet man dann bei einem Mainframe, da wird wirklich jedes Bit überall doppelt überwacht, weshalb die Dinger bei Banken und Versicherungen, wo es also wirklich teuer werden kann wenn ein Bitfehler passiert, weiterhin unersetzlich sind.

Aber so weit muss man nicht gehen, ECC RAM im Storageserver, schon als Grundlage für ein Filesystem mit Prüfsummen und dann ggf. bei den PCs, sind für den Hausgebrauch genug und vom Kostenaufwand her auch nicht übermäßig hoch. Wenn man weiter auf Consumer PCs ohne ECC RAM setzt, dann sollte man wenigstens ab und zu mal, zumindest aber nach jedem Zusammen- oder Umbau die RAMs gründlich mit Memtest86 oder Memtest86+ testen, also mal eine Nacht laufen lassen. Damit kann man zumindest Hart-Errors recht zuverlässig erkennen. Das würde ich dem TE auch mal für alle PCs / Notebooks im Hause empfehlen!
Ganz ehrlich, Daten eines Rechenzentrums das Petabytweise Daten durch 1300 Enterprise Server jagt als Argument für ein Homeoffice Nas ranzuziehen? Das nenne ich mal Panikmache! :stupid::stupid::stupid:
Kann es sein, dass Du die ganzen Zusammenhänge einfach nicht raffst?
Der Microserver hat sicherlich ein unschlagbares P/L Verhältnis. Nur würde ich den nicht uneingeschränkt empfehlen falls Aspekte wie Stromverbrauch / Usability / Lautstärke / Größe / WAF etc. eine Rolle spielen,
Den Review bei Technikaffe hatte ich doch schon verlinkt, da wird auch die Leistungsaufnahme ermittelt. Ein jahr hat 8760 Stunden, ein Watt mehr Leistungsaufnahme sind also knapp 8,8kWh und das sind je nach Strompreis z.B. bei 28ct/KWh dann so 2,50€/Jahr. Kostet das NAS 100€ mehr und verbraucht 10W weniger, dann dauert es 4 Jahre bis der Gen8 seinen Preisvorteil durch den Mehrverbrauch verloren hat. Um Usability / Lautstärke / Größe etc. zu vergleichen, muss man dann aber wirklich das konkrete und die für den Gen8 gewählte SW zum Vergleich heranziehen, da pauschal etwas aussagen zu wollen, ist unsinnig.
evtl. hat man ja auch noch ein Haufen alter Platten unterschiedlicher Größe rumfliegen (SHR).
Seinem NAS (egal ob Microserver oder Fertig-NAS) sollte man NAS Platten gönnen und nicht irgendwelche alten Platten die noch irgendwo rumfliegen! Erst recht wenn einem die Daten lieb sind und man sie nicht verlieren möchte.

QUOTE=mawel;24268009] eben[/QUOTE] Du rechnest also für Dein Hobby auch Deine Zeit als Arbeitszeit an, wer bezahlt Dir die denn?
 
Zuletzt bearbeitet:

jurke

Enthusiast
Thread Starter
Mitglied seit
25.03.2007
Beiträge
228
Danke euch für die konstruktive Kritik.
In dem Thema steckt anscheinend einiges an Kontroverse. Einig sind wir uns aber, dass das A und O eine gute Strategie zur Datensicherung ist.

Ich muss mir einfach klar werden was ich brauche. Der Nutzen von ECC und bspw. ZFS ist nicht von der Hand zu weisen. Der Kosten/Nutzen-Faktor aber wie angemerkt subjektiv.
Der Microserver wäre wohl meine erste Wahl, wenn da ... ja wenn die Randbedingungen nicht so semi-optimal wären.

Die Infrastruktur ist bescheiden. Das billige KabelDeutschland Modem liefert nur 100MBit und steht im Wohnzimmer. Daraus ergibt sich, dass
- NAS oder Server auch im Wohnzimmer stehen müssen
- Die wahrgenommene Lautstärke ein wichtiger Faktor ist (vor allem bei 24/7)
- Die LAN-Geschwindigkeit stark limitiert (HTPC hat nur WLAN)

Ein NAS/Server ist in der Konstellation für die geplanten Tätigkeiten doch stark gebremst durch die schmale Leitung.
In dieser Wohnung wollte ich das Netzwerk aber nicht mehr updaten. (Die Abschaffung des Kabelmodem/-Routerzwangs ist beschlossene Sache und das Gesetz muss nur noch in Kraft treten. Dann wollte ich ein neues kombiniertes Modem/Router mit Gigabitanschlüssen samt Verkabelung angehen.)

Neben den Mögllchkeiten NAS und Server gibt es auch noch Variante 3: Einfach die Datenplatte im HTPC austauschen und den staus quo erhalten. Dann wäre der HTPC quasi gleichzeitig Netzwerkspeicher.

Plattentausch: + geringster Invest (Seagate Surveillance HDD 7200rpm 8TB, SATA 6Gb/s (ST8000VX0002) Preisvergleich )
+ leise
+ simpel und schnell
- weiterhin fraktionierte Daten
- geringe Datenintegrität (wobei die regelmäßigen Backups trotzdem erfolgen)
- eigentliche Lösung nur aufgeschoben

NAS: + gemeinsamer Datenpool
+- mittlere bis hohe Kosten (reicht dann sowas Synology DiskStation DS215j, 1x Gb LAN Preisvergleich oder doch lieber Netgear ReadyNAS 210 RN212, 2x Gb LAN (RN21200-100NES) Preisvergleich mit besserem Datensystem?)
+ 2x4TB (Seagate Surveillance HDD 5900rpm 4TB, SATA 6Gb/s (ST4000VX000) Preisvergleich ) ca. 70 € günstiger als 1x8TB
- mittlere Datenintegrität
- mittlerer Aufwand
- aus der Diskussion heraus werder Fisch noch Fleisch

Microserver: + gemeinsamer Datenpool
+- mittlere bis hohe Kosten (mittlere mit HP Gen 8, hohe mit aktueller Skylake-Hartware)
+ Hohe Datenintegrität
+ flexibel nutzbar
+ 2x4TB (Seagate Surveillance HDD 5900rpm 4TB, SATA 6Gb/s (ST4000VX000) Preisvergleich ) ca. 70 € günstiger als 1x8TB
- zu laut (?)
- groß
- Administration aufwändiger

Ich schwanke zwischen 1 und 3.
 

Holt

Legende
Mitglied seit
05.07.2010
Beiträge
20.463
Gerade von dem ReadyNAS 210 kann ich nur ganz dringend abraten, weil der Einsatz von einem Filesystem mit Prüfsummen ohne ECC RAM bei einem RAM Fehler hochgefährlich ist, da korrigiert das Filesystem heile Dateien kaputt! Das Synology DS716+ hat ja auch btrfs und kein ECC RAM, aber Synology war wenigstens so vernünftig dort die Fehlerkorrektur nicht zu aktivieren, also nur die Prüfung der Dateien durchführen zu lassen. Das nutzt einem im Zweifel auch wenig, weil man dann auch nie weiß ob die Dateien nun wirklich korrupt sind oder es "nur" ein RAM Fehler ist. ECC-RAM ist daher einfach Pflicht für den Einsatz so eines Filesystems und leider haben da bei ZFS einige User erst auf die harte Tour gelernt, anderen steht das wohl erst noch bevor.
Schau halt mal in den Sammelthread zum Gen8.
- Administration aufwändiger
Das kannst Du Dir mal in einer VM mit den einzelnen Distributionen wie OMV, FreeNAS oder NAS4Free ansehen, dann bekommst Du eine Idee wie aufwendig das ist.
 

mawel

Enthusiast
Mitglied seit
17.09.2003
Beiträge
2.305
Ort
Fischkopp
Guten Morgen, erstmal meinen Respekt an jurke das er sich nicht schon vergraulen ließ. Was hat der vorhanden HTPC denn für eine Konfig?

Falls es Dir nicht zuviel Aufwand ist würde ich mir den HP einfach mal ins Haus holen und bei Nichtgefallen per FAG zurückgehen lassen. Das Lautstärkeempfinden ist leider sehr subjektiv und bei jedem anders ausgeprägt.

Und um Holt mal wieder zu füttern verweise ich bezüglich ZFS/BTRFS und nonECC mal auf meinen Link im anderen Post: http://www.hardwareluxx.de/community/f101/fujitsu-mx130-s2-micro-server-1105266.html#post24261469

Eine Kaufberatung sollte nur imho anders laufen als "Nimm den, alles andere ist der Teufel...." . Auch wenn die positiven Aspekte überwiegen sollte man die Nachteile nicht kleinreden oder verschweigen. Ich sehe auch nicht den Sinn an dieser Stelle so eine hitzige Diskussion über Sinn und Unsinn zu führen. Der Kampf wird schon in dieversen Fachforen geführt, ein kurzer Verweis darauf reicht wohl. Jeder hat andere Ansprüche. Holt mach mit der Empfehlung ja auch nichts falsch, leider ist die nur etwas einseitig für mein Empfinden. Also Frieden ;).
 
Zuletzt bearbeitet:

flxmmr

Experte
Mitglied seit
15.01.2015
Beiträge
3.580
Gerade von dem ReadyNAS 210 kann ich nur ganz dringend abraten, weil der Einsatz von einem Filesystem mit Prüfsummen ohne ECC RAM bei einem RAM Fehler hochgefährlich ist, da korrigiert das Filesystem heile Dateien kaputt!

Magst du mir mal erklären, wie in einem 2-Bay-NAS, in dem man nicht so einfach wirklich sinnvoll RAID konfigurieren kann/will (weil es wenig Sinn macht...), sondern meistens JBOD verwendet (ganz böse, ich weiß) falsche Daten korrigiert werden sollen?

Da gilt nämlich:
it first tries to obtain (or create) a good copy of this block from another device—if mirroring or RAID techniques are in use.
(wo man keine richtigen Daten hat, kann man auch nix korrigieren...)

Im RAID-Einsatz scheint es außerdem so zu sein, dass btrfs _alle_ Fehler (auch die korrigierten) loggt, was ZFS nicht tut: https://docs.oracle.com/cd/E19120-01/open.solaris/817-2271/gbcvk/index.html – hier ist es natürlich klar, dass man da ohne ECC u.U. eine sehr interessante "Fehlerkorrektur" hat.

Noch eine Frage: ZFS berechnet doch auch, falls ein RAM-Fehler einen bad-block generiert, die Prüfsumme des Blocks, der zur Korrektur verwendet wird, berechnet? In dem Fall wird doch nur der vorgebliche Fehler durch korrekte Daten ersetzt und es muss innerhalb kurzer Zeit neben dem RAM-Fehler noch zu einem Fehler bei der Übertragung/auf der Festplatte kommen, dass falsche Daten auf der HDD liegen... Kommt es dann zu weiteren Fehlern, sollte sich doch einfach das Dateisystem "aufhängen", wenn ich das richtig verstehe (außer, es treten Übertragungsfehler und RAM-Fehler en masse auf)? – das ist dann halt wiederum recht schwer wiederherzustellen, weil ZFS (richtigerweise) davon ausgeht, dass in dem Fall (Sun-Serverhardware vorausgesetzt) wirklich etwas kaputt ist :bigok:.

EDIT: hier steht auch ein ReadyNAS ;) und da dort nur eine Platte drin ist, hielt ich es nicht für nötig mich mit RAID auseinanderzusetzen, durfte aber jetzt feststellen, dass Netgear nicht etwa LVM (oder btrfs) für sein JBOD verwendet, sondern md-raid1 (wie auch immer)... Außerdem meint das Netz, dass Netgear offensichtlich irgendwie Daten ohne Btrfs mit MD-admin korrigiert :shot: (außerdem im UI irgendwie COW mit Bitrot assoziiert und die Checksummen kann man via Haken im Volume ein/ausschalten) → man muss halt hoffen, dass die defaults "ausreichen" oder selbst Hand anlegen; da ich auch nicht ausschließen möchte, dass QNAP/Synology ähnlichen Schwachsinn machen, muss man halt einfach damit leben können, oder selber bauen (und wenn ich betrachte, wieviel Zeit man in den Web-UIs (und der Shell des NAS) verbringen kann, bis man weiß, was man da konfiguriert, glaube ich kaum, dass ein OMV mit klarer Beschreibung eines Features wirklich sooo viel mehr Zeit erfordert).
 
Zuletzt bearbeitet:

GuNa

Experte
Mitglied seit
08.12.2011
Beiträge
245
Hier nochmal die Anforderungen vom ersten Post:
Was ich möchte:
- zentrale Bereitstellung der Multimediadaten (Musik, Filme, Serien), Officedaten und Bildern
- Mindestens eine Verdopplung der Speicherkapazität, mit Option auf Nachrüstung
- Ich würde gerne einen Netzwerkdrucker bereitstellen. Aktuell müssen wir die Laptops immer per USB an den Drucker stecken --> ungewollte Rennerei
- HTPC, der auch für gelegentliches Spielen herhalten muss, kann weiterhin für das Decoden dienen (auch h.265 nötig)
- Downloadstation à la JDownloader
- Verschlüsselung der Daten gewollt, wobei ich an sich eine ordnerbasierte Verschlüsselung einer volumebasierten bevorzuge, da nicht alles geschützt werden muss
- Eventuell Mailserver, aber das steht hinten an
- Backup soll per externer Platte laufen

Der HP Gen8 ist wirklich ein gutes Angebot und Du hast ein 4 Bay NAS mit einem extrem gutem P/L Verhältnis.
Ich denke das das Problem eher in der Auswahl der richtigen Software (OS) liegen wird.

Wenn ich mir diese Liste anschaue dann ergibt sich für mich folgendes Bild:
- Synology wird alle Punkte Out-of-the-Box wohl abdecken allerdings erst ab der 4xx Reihe aufwärts (?). Besonders Decoden und Verschlüsselung setzt einen bestimmten Typ von Prozessor voraus (z.b. Atom)

Der Punkt Mailserver und ordnerbasierte Verschlüsselung sind K.O. Kriterium für einige NAS OS. Da musst Du mal schauen.
Soweit ich weiß hat OMV kein Plugin für ordnerbasierte Verschlüsselung und Mailserver. Vielleicht lässt es sich "nachrüsten" da Debian als Unterbau genutzt wird. Heißt aber auf der Kommandozeile zu arbeiten und Pakete nach zu installieren und man läuft Gefahr das das nächste Update die Konfiguration zerschießt. Auf jeden Fall kann in OMV ZFS genutzt werden, was auch recht gut funktioniert.
Der Drucker kann bei OMV über das CUPS Plugin als Netzwerkdrucker genutzt werden.

Ob FreeNAS/NAS4Free das alles kann weiß ich nicht da ich es nicht einsetze. Das könnten Dir andere bestimmt sagen. Ich vermute aber das es geht.

Noch ein Tipp: Wenn Du ZFS einsetzen willst achte darauf das Du genug Speicher auf dem NAS hast. 2 GB ist zu wenig. 4 GB RAM sollten es min. sein besser sind 8 GB RAM. Je mehr umso besser.

- - - Updated - - -

PS. Hol Dir anständige Festplatten die auch für den Einsatz im NAS geeignet sind. In dem Punkt gebe ich Holt absolut recht. Hier solltest Du nicht sparen da Festplatten der Dreh- und Angelpunkt Deiner Datenhaltung sind.
Ich nutze selbst Festplatten von HGST, WD RED, und Seagate Constellation. Wobei ich die Seagates ausrangieren werde.
 

jurke

Enthusiast
Thread Starter
Mitglied seit
25.03.2007
Beiträge
228
Guten Morgen, erstmal meinen Respekt an jurke das er sich nicht schon vergraulen ließ. Was hat der vorhanden HTPC denn für eine Konfig?
QUOTE]

Der HTPC ist einfach aufgebaut. m.SATA SSD für Win7 und eine einzelne WD Red 4TB als Datenspeicher. Bisher ein Einfachbackup auf eine externe Festplatte.
Das mITX-Gehäuse lässt nicht mehr als eine 3,5" HDD zu.

Zum Thema Lautstärke: Wie geschrieben ist es eine sehr subjektive Geschichte. Ich bin recht empfindlich und achte sehr auf eine ruhige Umgebung. Das Querlesen im HP G8-Thread lässt mich zweifeln, aber um einen Test werde ich nicht umhin kommen. Wie von mehreren von euch vorgeschlagen, werde ich mir den G8 mal bestellen und selbst testen.
Es sei denn jemand von euch wohnt in Kaiserslautern und hat einen am Laufen?

Parallel werde ich, wie von Holt vorgeschlagen, ein paar Softwarelösungen virtualisieren und die Bedienbarkeit unters Auge nehmen.

Sind die Seagate Surveillance HDDs i.O? 24/7 freigegeben sind sie. Seagate Surveillance HDD 5900rpm 4TB, SATA 6Gb/s (ST4000VX000) Preisvergleich | Geizhals Deutschland

Ich werde mich sicher nochmals melden, wenn die Dinge abgearbeitet sind.
Eure Hilfe hat mir jedoch jetzt schon geholfen.
 

Digi-Quick

Urgestein
Mitglied seit
02.09.2009
Beiträge
6.658
- Ich würde gerne einen Netzwerkdrucker bereitstellen. Aktuell müssen wir die Laptops immer per USB an den Drucker stecken --> ungewollte Rennerei
Mal doof gefragt: Wie alt ist dein Drucker, LAN und/oder WLAN gehört bei den aktuelleren Druckern/MFs schon mehr oder weniger zum guten Ton.
Ansonsten gibt es für 40-80 € auch reine Printserver. (wie gut oder schlecht die funzen habe ich keine Kenntnis - nie benutzt)
Die von GuNa vorgeschlagene Lösung mit CUPS ist nicht gerade trivial und nicht unproblematisch - es kommt darauf an, welchen Drucker du hast.
Es ist durchaus die Wahrscheinlichkeit gegeben, daß nicht alle Druckerfunktionen/-Features nutzbar sind (z.B. nur 300 DPI statt möglicher 1200 DPI) oder es gar keine Treiber gibt.

für Linux /Windows gibt es noch so nette Sachen wie
http://usbip.sourceforge.net/
http://www.usb-over-network.com/usb-over-network.html

Für FreeBSD (NAS4Free, FreeNAS) oder Solaris & Forks habe ich da auf die schnelle nix gefunden
 
Zuletzt bearbeitet:
Oben Unten