Seite 1 von 2 1 2 LetzteLetzte
Ergebnis 1 bis 25 von 37
  1. #1
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48


    Question Grundsatzfragen RAID & Netzwerk für Datengrab

    Hallo,

    nachdem ich vor etwa 6 Jahren schon einmal vor dem Problem der sinnvollen Datenspeicherung stand, habe ich mich damals dazu entschieden, 6 x 4TB (WD RED) in meine Workstation einzubauen, was bis dato ohne RAID sehr zuverlässig lief. Mittlerweile benötige ich allerdings erneut mehr Speicher und zudem noch eine Möglichkeit, auf Medieninhalte (Videos, Musik) zentral zugreifen zu können (klassischer NAS-Anwendungsfall). Dabei stoße ich auf mehrere Probleme und überlege, aus meiner bisherigen Workstation ein eigenes System zur Datenhaltung und -sicherung aufzubauen statt mir Fertig-NAS-Systeme zuzulegen.

    Doch bevor ich daran gehe, habe ich zunächst ein paar grundlegende Verständnisfragen.



    Grundsatzfragen RAID

    1. RAID ja oder nein:

    Bei der Menge an Daten wäre ein Festplattenausfall katastrophal (deswegen möchte ich auch von der bisher simplen und wohl bisher eher zufällig "zuverlässigen" Datenhaltung weg zu einem RAID). Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.

    Entscheidung: RAID ja, aber nur 50% Kapazität nutzbar.

    2. Kann man die RAID-Kapazität sukzessive erweitern? Falls ja, wie geht man dabei sinnvoll vor?

    Die jeweils aktuelle Kapazitätsobergrenze von Festplatten (momentan 14 TB, vor 6 Jahren halt 6-8 TB) deckt sich nicht durch den im Zeitverlauf anwachsenden Speicherbedarf. D.h. man kauft bspw. heute 8x12 TB = 96 TB (~2.400 €), um im RAID effektiv 48 TB nutzen zu können und diese in absehbarer Zeit erweitern zu müssen, wenn es dann 24 TB Platten gibt.

    Fragen:
    - Ist eine diesbezügliche Erweiterung des RAIDs möglich?
    - D.h. kann man problemlos 2x 12 TB Platten des eingerichteten RAIDs durch 2x 24 TB ersetzen oder gibt es dann Probleme bei der der RAID-Verwaltung und der zugehörigen Datenspeicherung?
    - Ich vermute, man kann dann auch nur solange 12 TB der 24 TB Platte nutzen, bis alle Platten des RAIDs durch 24 TB Platten ersetzt wurden - ist das korrekt?

    Falls dem so wäre, dann wäre eine sukzessive Erweiterung nicht möglich bzw. müsste man dies anders umsetzen: Man müsste dann ein gänzlich neues RAID-10 mit 4x 24 TB Platten aufbauen, was effektiv wieder 48 TB nutzbar macht und dieses dann nach und nach um weitere 24 TB Platten erweitern. Nach der Erweiterung kann man dann sein bisheriges 48 TB RAID (mit den 8x 12 TB Platten) auflösen. Hierbei wäre wohl jeweils ein komplett eigenständige NAS mit jeweils 8 Schächten einzusetzen. Das Erstsystem könnte man dann wiederum ein paar Jahre später für die Umsetzung mit 48 TB Platten nutzen (wobei ich hier stark bezweifle, dass die dann veraltete NAS-Hardware dafür noch sinnvoll eingesetzt werden kann).

    3. Verschlüsselung

    Fragen:
    - Welche Dinge muss man hier generell beachten?
    - Welche Verschlüsselung ist sinnvoll?
    - Reduziert die Verschlüsselung die Schreibgeschwindigkeit und die Entschlüsselung die Lesegeschwindigkeit?



    Grundsatzfragen Netzwerkanbindung

    Ein Flaschenhals beim Lesen/Schreiben der Daten bildet neben der Festplattengeschwindigkeit auch die Netzwerkanbindung.

    1. Die Speicherung der Daten

    Das Schreiben und Verwalten geht ja gewöhnlich von einer Workstation aus, d.h. die Anbindung zwischen NAS und Workstation sollte der höchsten verfügbaren Datenrate entsprechen.

    Fragen:
    - Sind dafür 10 GB/s-Netzwerkkarten ausreichend oder gar höhere möglich? Welche Netzwerkkarten empfehlt ihr?
    - Welches Netzwerkkabel muss/sollte dafür eingesetzt werden?

    2. Das Lesen der Daten

    Das Lesen erfolgt von verschiedenen Orten (Workstation, Laptops, Smartphones, Raspberries, TVs, HTPC oder dergleichen, Kinder-PCs, whatever).

    Fragen:
    - Wie hoch ist die Netzwerklast beim parallelen Lesen von 1080p- oder 4k-Videoinhalten?
    - Reichen hierfür die übliche 1GB/s-Netzwerkkarten?
    - Welche Netzwerkkabel müssen/sollten dafür eingesetzt werden?

    3. Switch/Router

    Alle angeschlossenen Netzwerkgeräte laufen im Switch/Router zusammen, der die Datenpakete entsprechend zuordnet.

    Fragen:
    - Welchen Switch/Router empfehlt hier hierfür?
    - Gibt es spezielle Einrichtungseinstellungen, die man hierbei beachten muss? Ich denke da vor allem an die Priorisierung der Verbindung zwischen NAS und Workstation.

    4. NAS-Anbindung generell

    Fragen:
    - Sollte man mehrere Netzwerkkarten im NAS verbauen (bspw. 1 Verbindung zur Workstation und 1 Verbindung zum Rest - ist das überhaupt möglich mit dem Switch/Router)?
    - Ist es sinnvoll, den Netzwerkdatendurchsatz des NAS durch mehrere Netzwerkkarten zu bündeln (bspw. 2x 10 GB/s)? Gibt es hier Abhängigkeiten zu anderer Hardware? Was wären die Kosten?

  2. Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

  3. #2
    Obergefreiter
    Registriert seit
    21.09.2018
    Beiträge
    72


    Standard

    Ich greif mal ein paar Dinge auf:

    Entscheidung: RAID ja, aber nur 50% Kapazität nutzbar.
    Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.
    50% Kapazität bei RAID-10 oder RAID-6 mit nur 4 Platten. Der Sinn eines RAID-10 bei einem Datengrab erschließt sich mir nicht. Höhere Lese-Schreibzugriffe dann lieber mit mehr RAM oder Cache abfangen.

    - Ich vermute, man kann dann auch nur solange 12 TB der 24 TB Platte nutzen, bis alle Platten des RAIDs durch 24 TB Platten ersetzt wurden - ist das korrekt?
    Ja. Jede Platte nach und nach ersetzen, das RAID rebuilden und nach der letzten Platte den Pool expandieren.

    Grundsatzfragen Netzwerkanbindung

    Das Schreiben und Verwalten geht ja gewöhnlich von einer Workstation aus, d.h. die Anbindung zwischen NAS und Workstation sollte der höchsten verfügbaren Datenrate entsprechen.
    Fragen:
    - Sind dafür 10 GB/s-Netzwerkkarten ausreichend oder gar höhere möglich? Welche Netzwerkkarten empfehlt ihr?
    - Wie hoch ist die Netzwerklast beim parallelen Lesen von 1080p- oder 4k-Videoinhalten?
    - Reichen hierfür die übliche 1GB/s-Netzwerkkarten?
    - Stellt sich erstmal die Frage ob du überhaupt 10 Gbit brauchst und ob die Workstation auch 10 Gbit auslasten kann.
    - 1080p ca 5-10 Mbit/Stream, 4k ca 25 Mbit/Stream laut Google
    - Kommt drauf an wieviele gleichzeitige Streams laufen

    4. NAS-Anbindung generell
    Fragen:
    - Sollte man mehrere Netzwerkkarten im NAS verbauen (bspw. 1 Verbindung zur Workstation und 1 Verbindung zum Rest - ist das überhaupt möglich mit dem Switch/Router)?
    - Ist es sinnvoll, den Netzwerkdatendurchsatz des NAS durch mehrere Netzwerkkarten zu bündeln (bspw. 2x 10 GB/s)? Gibt es hier Abhängigkeiten zu anderer Hardware? Was wären die Kosten?
    Je nach Auslastung/gleichzeitigem Zugriff macht Portbündelung schon Sinn.


    Man kann einige der Fragen nur pauschal beantworten, da die genauen Anforderungen fehlen. Wie groß soll das NAS werden, welche Daten/Datenmengen werden von der Workstation aufs NAS geschrieben? Wozu die gewünschten höheren Lese-Schreibzugriffe?
    Geändert von wenzilinho (08.02.19 um 14:19 Uhr)
    FW: APU2C4 | 120GB SSD | Sophos UTM
    Network: Zyxel GS190024 | Ubiquiti UAP-AC-LITE
    ESXi-01: Intel NUC | i5-6260U | 16GB DDR4 | 512GB SSD | ESXI 6.7u1
    ESXi-Testcluster: 2x Dell T20 | Xeon/Pentium | 24GB DDR3 | HP NC360T | 120GB SSD | ESXI 6.7u1
    NAS: QNAP TS-431P | 2x 2TB HDD | 2x 240GB SSD | Datengrab/Shared Storage

  4. #3
    Super Moderator
    Mr. Alzheimer

    Registriert seit
    01.11.2004
    Ort
    Bärlin
    Beiträge
    18.760


    Standard

    Bevor du weiterrennst:
    [FAQ] RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

    Hintergrund ist, dass bei solchen Datenmengen es mittlerweile zu Problemen kommt, die ein RAID nicht abfedern kann. Der sogenannte Datenrost.
    Wenn wir also wirklich von 100TB reden, sollte man auch auf Dateisysteme setzen, die einem das Problem vom Hals schaffen. Zusätzlich ergeben sich dann auch noch andere Aspekte wie der ECC RAM.

    Weiterhin lässt mich das aufhorschen.
    Bei der Menge an Daten wäre ein Festplattenausfall katastrophal (deswegen möchte ich auch von der bisher simplen und wohl bisher eher zufällig "zuverlässigen" Datenhaltung weg zu einem RAID). Ferner wäre ein RAID-Verbund zur Erhöhung der Lese-Schreibzugriffe sinnvoll.
    Das lässt nur den Schluss zu, dass du kein RAID brauchst, sondern erstmal ein Backup.
    Geändert von underclocker2k4 (08.02.19 um 14:30 Uhr)

  5. #4
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Zitat Zitat von wenzilinho Beitrag anzeigen
    50% Kapazität bei RAID-10 oder RAID-6 mit nur 4 Platten. Der Sinn eines RAID-10 bei einem Datengrab erschließt sich mir nicht. Höhere Lese-Schreibzugriffe dann lieber mit mehr RAM oder Cache abfangen.
    Das käme doch darauf an, wo der Flaschenhals sitzt:
    - Lesegeschwindigkeit der Quelle
    - Schnittstellendurchsatz
    - Schreibgeschwindigkeit des Ziels

    Dafür müssten wir die unterschiedlichen Anwendungsfälle anschauen:

    Daten aufs Datengrab schreiben:
    - Quelle: Workstation-HDDs
    - Schnittstelle: LAN
    - Ziel: Datengrab-HDDs

    Daten vom Datengrab lesen (kopieren):
    - Quelle: Datengrab-HDDs
    - Schnittstelle: direkt (USB, eSATA, whatever), LAN oder WLAN
    - Ziel: HDD (Workstation, Laptop, ext. Festplatte, whatever)

    Daten vom Datengrab lesen (streamen):
    - Quelle: Datengrab-HDDs
    - Schnittstelle: LAN oder WLAN
    - Ziel: RAM (ich nehme zumindest an, dass der Stream im RAM gepuffert wird - ansonsten auch hier: HDD)

    Bei der Schnittstelle kommt es drauf an, wie groß deren Durchsatz ist, um zu sehen, ob diese oder die HDD einen Flaschenhals bildet.

    Kannst du mir sagen, welchen Cache du meinst (CPU? HDD?) und an welcher Stelle der greifen würde?

    Zitat Zitat von wenzilinho Beitrag anzeigen
    - Stellt sich erstmal die Frage ob du überhaupt 10 Gbit brauchst und ob die Workstation auch 10 Gbit auslasten kann.
    - 1080p ca 5-10 Mbit/Stream, 4k ca 25 Mbit/Stream laut Google
    - Kommt drauf an wieviele gleichzeitige Streams laufen

    Je nach Auslastung/gleichzeitigem Zugriff macht Portbündelung schon Sinn.
    Der Neuaufbau der Workstation wird danach ausgerichtet, was sinnvoll ist. Also wenn 10 Gbit oder mehr Sinn ergeben, wird die Hardware entsprechend ausgewählt. Kosten sind nachrangig, aber sollen sinnvoll eingesetzt werden.

    Ich gehe momentan von maximal zwei parallelen 4K-Streams aus (selbst das dürfte aktuell sehr selten sein, aber man rüstet ja für die Zukunft und da wären es im Extremfall vier parallele 4K-Steams), was also 50 Mbit/s wären. Da bräuchte ich also keine 10 Gbit, sondern nur 1 Gbit.

    Zitat Zitat von wenzilinho Beitrag anzeigen
    Man kann einige der Fragen nur pauschal beantworten, da die genauen Anforderungen fehlen. Wie groß soll das NAS werden, welche Daten/Datenmengen werden von der Workstation aufs NAS geschrieben? Wozu die gewünschten höheren Lese-Schreibzugriffe?
    NAS-Größe: Aktuell sind es 24 TB Datenbestand. Ich visiere mal für die nächsten 5 Jahre ca. insgesamt 48 TB an - mit Tendenz nach oben.
    Datenmengen von Workstation auf NAS: 1x Initial Load (24 TB, kann ich sicher auch stückchenweise vornehmen) und dann unregelmäßige Updates in wochen- bis monatelangen Abständen (mehrere hundert Gigabyte bis einige Terabyte).

    - - - Updated - - -

    Zitat Zitat von underclocker2k4 Beitrag anzeigen
    Bevor du weiterrennst:
    [FAQ] RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

    Hintergrund ist, dass bei solchen Datenmengen es mittlerweile zu Problemen kommt, die ein RAID nicht abfedern kann. Der sogenannte Datenrost.
    Wenn wir also wirklich von 100TB reden, sollte man auch auf Dateisysteme setzen, die einem das Problem vom Hals schaffen. Zusätzlich ergeben sich dann auch noch andere Aspekte wie der ECC RAM.

    Weiterhin lässt mich das aufhorschen.

    Das lässt nur den Schluss zu, dass du kein RAID brauchst, sondern erstmal ein Backup.
    ECC ist erstmal ein ganz anderes Thema und ob ECC-RAM für meine Zwecke wirklich sinnvoll ist, weiß ich ehrlich gesagt nicht, da sich hier die Geister scheiden. Man hat mir damals schon bzgl. meiner Workstation zu ECC-RAM und -Board geraten, aber ich habe bislang ohne ECC-RAM nichts negatives feststellen können.

    Du rätst also nicht zu einem Datenschutz-RAID (RAID 1, 5, 10), sondern zu einem gänzlich separaten Backup (extern gelagert)? Das würde dann dazu führen, dass die Datendurchsatzrate vom NAS zu diesem Backup möglichst hoch sein müsste, da es ja regelmäßig durchgeführt werden sollte.

    D.h. ich bräuchte zunächst mal 2x 12 TB für das Backup (bzw. nutze dafür zunächst mal meine 6x 4 TB Platten) der vorhandenen Daten und mind. 2x weitere 12 TB für den Aufbau des NAS, was ich nach und nach erweitern könnte (jeweils mit 1x 12 TB Platte fürs NAS und 1x 12 TB fürs Backup), nicht wahr?
    Geändert von tarzibou (08.02.19 um 16:10 Uhr)

  6. #5
    Bootsmann
    Registriert seit
    20.07.2017
    Beiträge
    617


    Standard

    Zitat Zitat von tarzibou Beitrag anzeigen
    Du rätst also nicht zu einem Datenschutz-RAID (RAID 1, 5, 10), sondern zu einem gänzlich separaten Backup (extern gelagert)? Das würde dann dazu führen, dass die Datendurchsatzrate vom NAS zu diesem Backup möglichst hoch sein müsste, da es ja regelmäßig durchgeführt werden sollte.
    Letztendlich musst du wissen, wie wichtig oder kritisch deine Daten sind. Ein Festplattenausfall ist nicht die einzige mögliche Ursache für Datenverlust, ein RAID schützt dich aber nur davor (und selbst das nicht absolut).
    Gegen einen Verschlüsselungstrojaner, versehentliches Löschen von irgendwas auf einem Client, etc. schützt dich ein RAID aber nicht. Zumindest gegen letzteres hilft ggf. ein Dateisystem, das Änderungen speichert.

    Bei 24TB Speicher muss man dann halt auch wohl oder übel für 24TB an Backupkapazität sorgen.

    Als Backup zählt nur, was praktisch stromlos ohne Verbindung zu irgendeinem System (am besten noch örtlich getrennt) gelagert wird, ausser natürlich für den kurzen moment, wo das Backup selbst erzeugt wird.

    Deine Anforderungen scheinen mir allerdings schon eher Richtung eines richtigen SAS zu tendieren. Also etwas professioneller als nur ein einfaches NAS, bzw. mal eben ein RAID per Netzwerkfreigabe ins Netz gestellt. Billig wird das aber wohl ohnehin nicht. Alleine für eine 10Gbit/s Anbindung schätze ich mal grob, wirst du da schon im höheren 3-stelligen Bereich landen, für nur 1x 10Gbit/s.

  7. #6
    Flottillenadmiral Avatar von -INU-
    Registriert seit
    29.12.2007
    Ort
    Unter der Brücke
    Beiträge
    5.200


    • Systeminfo
      • Motherboard:
      • ASUS Maximus VII Gene
      • CPU:
      • I7 [email protected],8Ghz
      • Systemname:
      • Kiste
      • Kühlung:
      • Dampf
      • Gehäuse:
      • Cooler Master Silencio 352M
      • RAM:
      • 4x8GB
      • Grafik:
      • ASUS 1080 Ti Strix
      • Storage:
      • Intel SSD 600p 1TB
      • Monitor:
      • Philips BDM4065UC + Dell P1914S
      • Netzwerk:
      • FritzBox 6490
      • Betriebssystem:
      • Windows 10 Pro 64bit
      • Notebook:
      • Apple MB 12", MBP 15"
      • Photoequipment:
      • Sony NEX-7
      • Handy:
      • Nexus 6

    Standard

    Zitat Zitat von tarzibou Beitrag anzeigen
    Aktuell sind es 24 TB Datenbestand. Ich visiere mal für die nächsten 5 Jahre ca. insgesamt 48 TB an - mit Tendenz nach oben.
    Datenmengen von Workstation auf NAS: 1x Initial Load (24 TB, kann ich sicher auch stückchenweise vornehmen) und dann unregelmäßige Updates in wochen- bis monatelangen Abständen (mehrere hundert Gigabyte bis einige Terabyte).
    Das Wäre dann der einzige Punkt an dem 10G evtl nützlich wären, die Frage wäre dann wie oft du 500GB und mehr auf einen Schlag ins "Datengrab" schaufelst und wie schnell das gehen muss. Denn für die zwei 4K Streams bist du Meilen von 10G entfernt und viel mehr hast du an Anforderungen nicht genannt.

    Und was hat dein Internet für einen Upload, evtl. könntest du das Backup auslagern. Ein NAS bei dir, ein anderes irgendwo fürs Backup. Beide mit RAID5/6. Nicht viel teurer und deutlich besser als ein RAID10 ohne Backup.
    "ich bin autonomer als jeder Autonome, denn ich habe viel Geld"

  8. #7
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Zitat Zitat von Liesel Weppen Beitrag anzeigen
    Deine Anforderungen scheinen mir allerdings schon eher Richtung eines richtigen SAS zu tendieren. Also etwas professioneller als nur ein einfaches NAS, bzw. mal eben ein RAID per Netzwerkfreigabe ins Netz gestellt. Billig wird das aber wohl ohnehin nicht. Alleine für eine 10Gbit/s Anbindung schätze ich mal grob, wirst du da schon im höheren 3-stelligen Bereich landen, für nur 1x 10Gbit/s.
    Sind SAS nicht auch an sich sicherer bzw. insoweit mit Warnsystemen versorgt, dass man Festplattenstörungen eher erkennt und reagieren kann?
    Mich wundert auch, dass die sich preislich überhaupt nichts nehmen, wenn ich mal diese beiden vergleiche (12 Gb/s vs. 6 Gb/s).

    Zitat Zitat von -INU- Beitrag anzeigen
    Das Wäre dann der einzige Punkt an dem 10G evtl nützlich wären, die Frage wäre dann wie oft du 500GB und mehr auf einen Schlag ins "Datengrab" schaufelst und wie schnell das gehen muss. Denn für die zwei 4K Streams bist du Meilen von 10G entfernt und viel mehr hast du an Anforderungen nicht genannt.
    Ja, für die paar Fälle im Jahr könnte ich auch auf 10G verzichten, denk ich. Dachte, es wäre sinnvoll, aber der Aufwand steht wohl in keinem Verhältnis. Da lass ich das lieber mal eine Nacht durchlaufen und gut - und die Backups kann man ja auch auf "lediglich Unterschiede aktualisieren" einstellen, nicht wahr? Das würde dann ja auch die Übertragungsdauer senken.

    Da ich also keinen "high demand" oder dauernd "high volume" habe (es geht letztlich einfach um ein Datengrab zu Hause mit zentralem Zugriff auf die Medien für alle Mitbewohner), kann ich doch auch gänzlich von RAID weg, oder?

    Zitat Zitat von -INU- Beitrag anzeigen
    Und was hat dein Internet für einen Upload, evtl. könntest du das Backup auslagern. Ein NAS bei dir, ein anderes irgendwo fürs Backup. Beide mit RAID5/6. Nicht viel teurer und deutlich besser als ein RAID10 ohne Backup.
    Das wird eher nix - bei 2000 Kbit/s bräuchte ich pro GB eine Stunde... Nö, lieber möglichst simpel - ggf. einfach externe Platten und im Schlafzimmer verstauen.
    Geändert von tarzibou (08.02.19 um 18:42 Uhr)

  9. #8
    Gefreiter
    Registriert seit
    27.12.2018
    Beiträge
    32


    • Systeminfo
      • Motherboard:
      • MSI Z270 Gaming Pro Carbon (MS7A63)
      • CPU:
      • Intel Core i7-7700K
      • Kühlung:
      • EKL Alpenföhn Olymp
      • Gehäuse:
      • Thermaltake Suppressor F31
      • RAM:
      • Corsair Vengeance LPX schwarz
      • Grafik:
      • MSI GeForce GTX 1080 Ti GAMING
      • Storage:
      • Intel SSD 600p 512GB, M.2
      • Monitor:
      • ASUS ROG PG279Q
      • Netzteil:
      • Corsair RMx Series RM650x 650W
      • Betriebssystem:
      • Windows 10 Pro 1809

    Standard

    Wie schon erwähnt ist RAID kein Backup. Wenn die Daten sehr wichtig sind muss man über eine Backup Lösung nachdenken.

    Nur mal kurz zum RAID: Wenn ein RAID dann würde ich zu RAID 5 oder 6 greifen. Den Geschwindigkeitsvorteil von RAID 1 spürst du im 1 Gbit Netz sowieso nicht.
    Und somit hast du schon mal mehr Kapazität für "weniger Geld" und kannst auch leichter den RAID erweitern. Eine Festplatte (mit mind. gleicher Größe) dazu und gut ist.
    Limit hier ist dann halt dein Motherboard oder Controller wie viele Platten du ins System geben kannst. Wenn die Anzahl nicht mehr erhöht werden kann, müssen
    ALLE Festplatten ausgetauscht werden um mehr Kapazität zu bekommen.

    Ich persönlich bin vom RAID weg, da mir JBOD + Parity mehr zusagt / Vorteile bringt. Ich habe aber auch keine super sensiblen Daten.
    Home Server: Intel Pentium Gold G5400 | 16GB DDR4 | UnRaid 6.7.0-rc3 @ 2x Kingston A1000 240GB | 8x HDD @ 20 TB (netto)

  10. #9
    gea
    gea ist offline
    Kapitän zur See
    Registriert seit
    16.11.2010
    Beiträge
    3.317


    Standard

    Das Problem ist doch, Daten gehen garantiert irgendwann verloren.
    Die Gründe sind vielfältig. Gegen jedes Problem gibt es aber Abwehrmaßnahmen

    Eine Platte geht irgendwann kaputt
    - Aktuelle Daten schützt ein Raid. Manche Raid Level sind besser als andere.
    Backup hilft, ist aber wie altes Brot: immer von gestern

    Stromausfall beim Schreiben kann ein Dateisystem oder Raid schrotten (write hole problem)
    - Dagegen hilft ein Raidcontroller mit Batterie/Flashsicherung oder ein CoW Dateisystem

    Daten verändern sich beim Lagern von alleine (Datenrost, silent data errors)
    - Dagegen hilft regelmäßiges Prüfen mit Prüfsummen und Reparatur aus Redundanz

    Daten sind in Gefahr wegen Trojaner/ Ransomware
    Die verschlüsseln Daten, gerne zuerst alte Daten und Backup. Man merkt das meist zu spät
    - Dagegen helfen viele (stündlich, taglich über viele Tage) und garantiert readonly Backups/ Versionierung,
    idealerweise z.B. Dutzende oder Hunderte ZFS Snaps

    Es brennt, der Blitz trifft das Haus oder ein Dieb stiehlt den Rechner
    - externes Disaster Backup

  11. #10
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Yea und der geomagnetische Sturm erst

    Also ich bin immer noch am Grübeln... und denke, ich sollte es nicht zu kompliziert machen, da es hier weder um hochsensible, noch hochverfügbare Daten geht, sondern im Wesentlichen um Filme und Musik:

    Netzwerkgeschichte
    Die hake ich mal als -done- ab, da die Daten nach dem initial load nur aller paar Wochen bis Monate rübergeladen werden. Ansonsten wird gestreamt, was ja das übliche Netzwerk nicht auslastet.

    Backup
    Die Backups schiebe ich parallel mit/nach dem eigentlichen Update direkt von der Workstation auf die Backup-Platte(n), die einzeln extern umherlagern. Falls dann mal eine Platte ausfällt, wird sie ersetzt und die zugehörigen Daten von der entsprechenden Backup-Platte draufgezogen. Wichtig hierbei ist sicher, dass man sich diese Platten in einem angemessenen zeitlichen Abstand zulegt, so dass die Wahrscheinlichkeit des gleichzeitigen Ausfalls der NAS-Platte und der extern gelagerten Backup-Platte noch weiter reduziert wird. Ist der Ausfall einer Backup-Platte nicht auch höher, da sie ja weniger als die NAS-Platte genutzt wird?

    RAID
    Da RAID kein Backup ersetzt, ergeben auch RAIDs für zusätzliche Datensicherheit keinen Sinn, sondern erhöhen nur unnötig die Redundanz. D.h. alles außer RAID-0 fiele raus, was auch die Speicherkosten senkt.
    Ergibt nun RAID-0 überhaupt Sinn? Es würde die Geschwindigkeit des initial load und der Updates erhöhen, aber bei einem einzigen Plattenausfall müsste man alle Daten aus allen Backup-Platten neu aufspielen, d.h. auch, dass wenn bspw. NAS-Platte 1 ausfiele und Backup-Platte 2 nicht mehr ginge, man definitiv die Daten der 2. Platte gänzlich verloren hätte. Also liegt der Schluss nahe, überhaupt kein RAID zu nutzen.

    JBOD
    Bis auf Weiteres erachte ich es für meine Zweck nicht als notwendig, Platten zusammenzufassen. Also brauche ich auch kein JBOD.

    Parity, ECC, whatever
    Parity allein sagt mir jetzt nichts, aber Datenrost, ECC usw. sind wohl doch interessant. Da ich ja Daten allein von der Workstation aus verwalte (und auf die NAS- und Backup-Platten übertrage), sollte doch dann nicht auch nur in der Workstation die ECC-Hardware (Board + CPU + RAM) sitzen - oder etwa in Workstation und in der NAS?

    Ich habe zwar einen ECC-fähigen Intel Xeon E3-1245 v3, aber weder mein Board, noch mein RAM sind für ECC ausgelegt.

    Verschlüsselung
    Hierzu wurde noch gar nichts gesagt, dabei finde ich diesen Punkt in Anbetracht drohenden Einbruchs und Diebstahls der gesamten Hardware schon nicht ganz unwichtig.

    SAS vs. SATA
    Ich habe mal etwas wg. SAS recherchiert und fand die höhere Geschwindigkeit interessant (12 Gb/s - 24 Gb/s) - allerdings stehen die Kosten eines zugehörigen Controllers (~300-900 €) und der sonstige zusätzliche Aufwand (v.a. serverartige Kühlung des Controllers notwendig) in keinem Verhältnis zum Nutzen und da ich das bzgl. dem Netzwerk schon abgehakt habe, würde ich auch hier einfach zu handelsüblichen SATA 6 Gb/s Platten greifen.

  12. #11
    gea
    gea ist offline
    Kapitän zur See
    Registriert seit
    16.11.2010
    Beiträge
    3.317


    Standard

    Zitat Zitat von tarzibou Beitrag anzeigen
    Yea und der geomagnetische Sturm erst
    Es gibt Leute die trotz Kettenrauchen alt werden ohne Lungenkrebs zu bekommen.

    Dass man ohne Datenverlust alt werden kann wenn man sich um Datensicherheit keine Gedanken macht, klappt nur bei denen die keine digitalen Daten haben oder zumindest kaum Daten haben oder dass die Daten so unwichtig sind dass der Verlust nicht auffällt oder es einfach keine Rolle spielt.

    Ansonst gilt der beliebte Spruch: Kein Backup, kein Mitleid

  13. #12
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Ich habe jetzt mal zwei Grund-Konfigurationen mit zunächst 24 TB und ECC zusammengestellt:

    NAS-Variante mit SAS 12 Gb/s
    - CPU-Kühler würde ich aus jetziger Workstation ausbauen (wird durch aktuellere Hardware ersetzt)
    = ca. 1.770 €

    NAS-Variante mit SATA 6 Gb/s
    - CPU & CPU-Kühler würde ich aus jetziger Workstation ausbauen (wird durch aktuellere Hardware ersetzt)
    = ca. 1.210 €

    Ich tendiere aktuell zur SATA-Variante, da die 12 Gb/s bereits durch das Netzwerk (1 Gb/s) nicht ausgereizt werden können und auf dem NAS selbst werden die Daten nur beim Plattenwechsel verschoben.

    EDIT: Beide Listen auf SAS geändert.

    Zur Info auch mal meine aktuelle Workstation, die ersetzt werden soll. Das Gehäuse würde ich für den NAS-Server direkt weiternutzen.

    Es fehlt noch das Netzteil. Wäre es sinnvoll, das vorhandene zu nutzen oder sollte ich mir hier bzgl. Stromverbrauch auf alle Fälle ein anderes zulegen?

    Findet ihr die Konfiguration ansonsten erstmal OK?
    Geändert von tarzibou (11.02.19 um 16:19 Uhr)

  14. #13
    Oberbootsmann
    Registriert seit
    14.08.2014
    Ort
    Serverraum
    Beiträge
    1.001


    • Systeminfo
      • Motherboard:
      • Supermicro X11SSH-CTF / Thinkpad T470p
      • CPU:
      • Xeon E3-1240v5/ i7-7820HQ
      • Systemname:
      • 'Blechtrottl'
      • Kühlung:
      • NH-D15S / TP
      • Gehäuse:
      • Fractal Define R4 / TP
      • RAM:
      • 64GB ECC / 32GB
      • Grafik:
      • AST2400 / i7+Nvidia 940MX
      • Storage:
      • 6xSM863+6xHGST NAS+i900p / PM961 1TB+MTS400 512GB
      • Monitor:
      • - / 2*Dell U2717D
      • Netzwerk:
      • 10Gbase-T (XS708-E) + 1Gbase-T
      • Sound:
      • - / SoundBlaster HD USB + Logi Z-2300
      • Netzteil:
      • 400W Bequiet StraightPower 10
      • Betriebssystem:
      • ESXI+FreeBSD / W10+W8
      • Sonstiges:
      • + 2x Dell T20 Xeon + 1x Lenovo M93p i5-4570 + 1x Asrock Z77 i7-3770K 4.5Ghz + X10SL7-F E3-1275v3
      • Notebook:
      • Thinkpad T470p

    Standard

    In Chipsatz C226 (Xeon v3) würde ich wirklich nicht mehr neu investieren; die Plattform ist ziemlich alt mittlerweile.
    Das X11SSH-CTF ist ein nettes Board (hab ich selber), aber neu würd ich auch in C23x-Generation nicht mehr investieren.

    Teure Hardware-Raidcontroller sind obsolet, sobald zu ZFS einsetzt. Dafür brauchst Du dumme HBAs, die sind auch bei SAS günstig zu haben. An einen SAS-HBA kannst Du halt noch Extender dranhängen, wenn Du mehr Kapazität brauchst aber keine PCIe-Slots mehr hast.

    Hast Du fürs Backup eine zweite ZFS-Maschine, kannst Du bequem und schnell Backups über Snapshots und "zfs send/receive" ausführen. Nach dem Initialbackup auch inkrementell natürlich. Ist sehr von Vorteil beim Sichern großer Medienfiles.
    Geändert von Trambahner (10.02.19 um 23:32 Uhr)

  15. #14
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Zitat Zitat von Trambahner Beitrag anzeigen
    In Chipsatz C226 (Xeon v3) würde ich wirklich nicht mehr neu investieren; die Plattform ist ziemlich alt mittlerweile.
    Das X11SSH-CTF ist ein nettes Board (hab ich selber), aber neu würd ich auch in C23x-Generation nicht mehr investieren.

    Teure Hardware-Raidcontroller sind obsolet, sobald zu ZFS einsetzt. Dafür brauchst Du dumme HBAs, die sind auch bei SAS günstig zu haben. An einen SAS-HBA kannst Du halt noch Extender dranhängen, wenn Du mehr Kapazität brauchst aber keine PCIe-Slots mehr hast.

    Hast Du fürs Backup eine zweite ZFS-Maschine, kannst Du bequem und schnell Backups über Snapshots und "zfs send/receive" ausführen. Nach dem Initialbackup auch inkrementell natürlich. Ist sehr von Vorteil beim Sichern großer Medienfiles.
    Danke für den Tipp mit der HBA. Ich hab beide Listen mal abgeändert auf C242 und C246 mit Tendenz zu Letzterem.

  16. #15
    Stabsgefreiter
    Registriert seit
    18.07.2016
    Beiträge
    295


    • Systeminfo
      • Betriebssystem:
      • Fedora 28, Gentoo
      • Notebook:
      • Thinkpad W520

    Standard

    Hol dir den HBA doch gebraucht von einem seriösen eBay-Händler. Zum Beispiel einen Dell PERC H310, hab meinen für 30-40 € geschossen, lässt sich einfach auf einen LSI 9211-8i flashen.

  17. #16
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Wäre es nicht sinnvoller, gleich einen SAS-3 Controller zu holen, der die SAS-3 Platten auch unterstützt?

    Ich frage mich auch, ob ich denn überhaupt aktuelle Hardware bzgl. Board, CPU + RAM benötige, da auf dem NAS selbst ja keine Prozesse stattfinden - es wird im Grunde nur gestreamt. Ansonsten wäre es momentan eventueller sinnvoller, wenn ich den Aufbau eines separaten NAS erstmal nach hinten verschiebe und den SAS-3-Controller + die SAS-3-Platten direkt in meine Workstation einbaue, auch wenn der Stromverbrauch da erstmal höher ist. Beim Zu-Bett-Gehen wird die Workstation dann halt heruntergefahren. Der Hintergrund ist ein demnächst anstehender Umzug und danach ist ein Hausbau geplant, bei dem ich ja ein modernes Netzwerk einplanen kann. Damit verzichte ich natürlich auch erstmal auf ECC (no risk, no fun).

    Danach könnte ich aber ggf. auch viele Prozesse, die momentan auf der Workstation laufen, auslagern:
    - Virtuelle Maschine (VMWare) mit Win 8.1 für SAP-VPN-Verbindung zum Kunden
    - Entpacken großer rar-Dateien
    - Video- & Audio-Encodierung
    - ggf. eigenen Web-Server aufsetzen (mit paar Cronjobs)

    D.h. statt jetzt eine NAS später einen richtigen Server aufsetzen, bei dem aktuelle Hardware tatsächlich sinnvoll wäre und die jetzige wieder veraltet wäre. So ein Hausbau dauert ja schon mal 2-3 Jahre.

  18. #17
    Oberstabsgefreiter
    Registriert seit
    06.07.2017
    Beiträge
    461


    Standard

    Die Nas-Variante Sata ist doch auch ein SAS System nur mit anderem Controller und langsamerer M2SSD, aber den gleichen SAS-Platten. Bleibt am Ende da doch auch bei den 12Gb/s.
    Als Planungsansatz könnte man ja noch anhängen, NAS jetzt bauen und nach dem Hausbau als Backupträgersystem für den dann zu bauenden Server nutzen So lassen sich die doppelten Kosten leichter verargumentieren. Ob die Daten zu deiner Schlafenszeit unerreichbar Lösung dauerhaft Anklang findet kann nur dein Umfeld entscheiden.
    Geändert von amdfreund (11.02.19 um 13:27 Uhr)

  19. #18
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Zitat Zitat von amdfreund Beitrag anzeigen
    Die Nas-Variante Sata ist doch auch ein SAS System nur mit anderem Controller und langsamerer M2SSD, aber den gleichen SAS-Platten. Bleibt am Ende da doch auch bei den 12Gb/s.
    Joa, die beiden Listen hatte ich auf SAS geändert, siehe 3 Posts weiter oben

  20. #19
    Flottillenadmiral Avatar von -INU-
    Registriert seit
    29.12.2007
    Ort
    Unter der Brücke
    Beiträge
    5.200


    • Systeminfo
      • Motherboard:
      • ASUS Maximus VII Gene
      • CPU:
      • I7 [email protected],8Ghz
      • Systemname:
      • Kiste
      • Kühlung:
      • Dampf
      • Gehäuse:
      • Cooler Master Silencio 352M
      • RAM:
      • 4x8GB
      • Grafik:
      • ASUS 1080 Ti Strix
      • Storage:
      • Intel SSD 600p 1TB
      • Monitor:
      • Philips BDM4065UC + Dell P1914S
      • Netzwerk:
      • FritzBox 6490
      • Betriebssystem:
      • Windows 10 Pro 64bit
      • Notebook:
      • Apple MB 12", MBP 15"
      • Photoequipment:
      • Sony NEX-7
      • Handy:
      • Nexus 6

    Standard

    Bei SAS bin ich mir ziemlich sicher das es ein Tippfehler war und NAS gemeint war. Aber von 10G und RAID0 zu ein par zusätzliche Platten in den Rechner schieben ist aber auch ein guter Sprung der zeigt das du dir erst einmal klar werden solltest was du überhaupt von der Hardware erwartest. Dann kann man schauen mit welcher Hardware sich dies realisieren lässt.

    Aber mal grob: Fujitsu D3644-B, Intel Core i3-8100, 2x Kingston Server Premier DIMM 8GB, DDR4-2666, CL19-19-19 ECC, Festplatte als SATA Version und als HBA den Dell und entweder selbst umflashen oder etwas mehr zahlen. (empfehlen würde ich dir letzteres)

    Dazu noch Kühler, SSD, Gehäuse, Kabel etc. Bei der SSD müsste man aber erst wissen welches OS und ob ein SSD Cache beim Storage genutzt wird. Genau wie bei der CPU, rein zum Streamen würde auch ein Pentium oder Celeron reichen, aber wenn noch ein par VMs/Container dazu kommen kann es (sehr) eng werden.
    "ich bin autonomer als jeder Autonome, denn ich habe viel Geld"

  21. #20
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Ich möchte

    1) mehr Speicherplatz (mit 2x 12 TB = 24 TB starten, dann sukzessive mit flexibler Plattengröße aufstocken, also bspw. in 6 Monaten eine weitere 12 TB Platte und in 1-2 Jahren eine weitere 16 TB dazuschalten, usw.)
    2) passwortgeschützter Zugriff freigegebener Ordner im LAN
    3) ausreichend schnell (SATA + 1Gb-LAN) oder falls sich der Aufwand lohnt: richtig schnell (SAS 3.0 + Dual 10Gb-LAN)
    4) stromsparend
    5) entweder einen leistungsfähigen Server aufbauen oder eine leistungsfähige Workstation und je mehr ich darüber nachdenke, eher eine einzelne leistungsfähige Workstation und ein reines Datengrab ohne notwendige Rechenpower, aber mit bestmöglicher Anbindung, auf das ich direkt von der Workstation bspw. entpacken oder Videodateien encodieren kann. Im günstigsten Fall bestünde meine Workstation dann nur noch aus ein bis zwei SSDs (für's Betriebssystem, Programme und lokale Daten), die die NAS als Speicher für alles sonstige nutzt.

    Wieso rätst du zu keinem SAS und wenn, dann nur für 6 Gb/s?
    Wieso rätst du zu SATA und den SAS-HBA?
    Beides ergibt aus meiner Sicht keinerlei Sinn.

    Wenn SAS, dann gleich SAS 3.0 mit 12 Gb/s (was die größeren Platten ja ohnehin unterstützen) und da lande ich beim Broadcom SAS3008-Chipsatz (ohne RAID), der intern 200 € oder extern 150 € kostet (gäng die IBM Lenovo N2225 überhaupt universal für jedes Board oder wieso ist die relativ günstig?). Hier bräuchte ich dann a) eine entsprechend schnelle Anbindung von der Workstation zum NAS/Server und b) ebenso flinke Platten in der Workstation (wenn dort nur 2 SSDs drin sind, sollte das ja reichen?).

    Wenn SATA, dann brauche ich auch keinen SAS-HBA, da mir 6-8 SATA-III-Ports on-board reichen. Das macht die ganze Angelegenheit zwar einfacher und sicher auch günstiger, aber ergibt das Sinn?

    Achso, als Betriebssystem bevorzuge ich etwas "simples" (ggf. Windows-Server oder ähnliche oberflächengesteuerte Betriebssysteme), um keine Linux-spezifischen Geek-Setting-Orgien zu durchlaufen, denn da scheitere ich regelmäßig an dahingeworfenen commands, die keiner begreift, der aus der Windows-Welt kommt, so wie ich. Wenn möglich, dann wäre eine Remote-Steuerung des NAS von der Workstation aus wundervoll, so dass ich da nicht erst den Monitor hin- und herschleppen müsste, wenn ich mal was einstellen mag.

    EDIT:

    Ich kann mir auch vorstellen, das NAS vorerst (bis mal das Haus fertig ist, also einige Jahre) direkt neben meine Workstation zu pflanzen. Vielleicht gibt das eine einfachere Lösung bzgl. der Anbindung zwischen WS und NAS, ohne das sonstige Netzwerk aufbohren zu müssen.
    Geändert von tarzibou (11.02.19 um 20:02 Uhr)

  22. #21
    Stabsgefreiter
    Registriert seit
    18.07.2016
    Beiträge
    295


    • Systeminfo
      • Betriebssystem:
      • Fedora 28, Gentoo
      • Notebook:
      • Thinkpad W520

    Standard

    Weil SAS3 keinen Sinn ergibt für drehende Platten. Das ist immer eine Punkt-zu-Punkt Verbindung, eine HDD kratzt ja noch nichtmal am 6 Gb/s Limit von SAS2/SATA3.

    Bleib bei SATA Platten am onboard Controller und werf da OMV oder Unraid drauf, das wird einfacher und trivialer für dich sein als OmniOS/Solaris oder FreeNAS. Virtualisieren kannst ja dann immer noch auf der Workstation, das NAS dient dann nur noch als stromsparende Datenablage. Einfach mal auf Technikaffe stöbern, da gibts passende Konfigurationen die wenig Strom brauchen.
    Geändert von sch4kal (11.02.19 um 20:03 Uhr)

  23. #22
    Gefreiter
    Registriert seit
    30.11.2013
    Beiträge
    48
    Themenstarter


    Standard

    Achso - die Köpfe der einzelnen Platte sind also von sich aus schon langsamer? D.h. SAS 3.0 ergebe nur Sinn, wenn man mehrere Platten bündeln würde, richtig?

  24. #23
    Stabsgefreiter
    Registriert seit
    18.07.2016
    Beiträge
    295


    • Systeminfo
      • Betriebssystem:
      • Fedora 28, Gentoo
      • Notebook:
      • Thinkpad W520

    Standard

    Beim Einsatz von Expandern oder SAS SSDs, ja.

  25. #24
    gea
    gea ist offline
    Kapitän zur See
    Registriert seit
    16.11.2010
    Beiträge
    3.317


    Standard

    Zitat Zitat von sch4kal Beitrag anzeigen
    da OMV oder Unraid drauf, das wird einfacher und trivialer für dich sein als OmniOS/Solaris oder FreeNAS.
    Free-BSD, Linux, OSX, Windows und Solarish sind Betriebssysteme
    FreeNAS, OMV, Unraid aber auch mein napp-it sind Distributionen/ Managementoberflächen für eines davon.

    Die Betriebssysteme machen die größten und entscheidenden Unterschiede. Für Apache oder SAMBA z.B. ist es egal unter welchem OS es läuft. Man kann bei den jeweiligen Web-Oberflächen allenfalls sagen a ist hübscher/moderner als b. Auch sind manche Distibutionen eher auf bestimmte Dateisysteme (ext4 oder ZFS) optimiert oder aber auf bestimmte Anwendungen also eher Mediaserver (kein Echtzeit Raid, dafür Erweiterung Platte um Platte, z.B. Unraid) oder herkömmliche Homeanwendungen wie OMV mit ext4 oder eher Enterprise Storage optimiert (Echtzeit Raid, Performance skaliert im Raid) wie bei klassichen ZFS Systemen wie Solarish (da kommt ZFS her) oder Free-BSD (da wirds seit langem genutzt).

  26. #25
    Oberbootsmann
    Registriert seit
    14.08.2014
    Ort
    Serverraum
    Beiträge
    1.001


    • Systeminfo
      • Motherboard:
      • Supermicro X11SSH-CTF / Thinkpad T470p
      • CPU:
      • Xeon E3-1240v5/ i7-7820HQ
      • Systemname:
      • 'Blechtrottl'
      • Kühlung:
      • NH-D15S / TP
      • Gehäuse:
      • Fractal Define R4 / TP
      • RAM:
      • 64GB ECC / 32GB
      • Grafik:
      • AST2400 / i7+Nvidia 940MX
      • Storage:
      • 6xSM863+6xHGST NAS+i900p / PM961 1TB+MTS400 512GB
      • Monitor:
      • - / 2*Dell U2717D
      • Netzwerk:
      • 10Gbase-T (XS708-E) + 1Gbase-T
      • Sound:
      • - / SoundBlaster HD USB + Logi Z-2300
      • Netzteil:
      • 400W Bequiet StraightPower 10
      • Betriebssystem:
      • ESXI+FreeBSD / W10+W8
      • Sonstiges:
      • + 2x Dell T20 Xeon + 1x Lenovo M93p i5-4570 + 1x Asrock Z77 i7-3770K 4.5Ghz + X10SL7-F E3-1275v3
      • Notebook:
      • Thinkpad T470p

    Standard

    Technikaffe ist mittlerweile etwas veraltet und schlägt Konfigurationen ohne Support von ECC-Ram vor. Insbesondere letzteres halte ich für fahrlässig bei Storage-Systemen.

Seite 1 von 2 1 2 LetzteLetzte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •