Ergebnis 1 bis 16 von 16
  1. #1
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14


    Standard Homeserver Proxmox/NAS/ZFS - Speicherkonfiguration

    Hallo zusammen,

    ich habe mich ein wenig in ZFS eingelesen, habe aber leider noch keinerlei Erfahrung damit. Vorläufig habe ich mich jetzt mal für folgende Hardware entschieden und benötige nun eure Hilfe bzgl. meiner Speicherkonfiguration:

    Hardware:
    - mATX Mainboard: Asus P11C-M/4L (inkl. IPMI)
    - Gehäuse: Fractal Design Node 804
    - Netzteil: be quiet! Pure Power 11 500W CM
    - CPU: Intel® Core™ i3-8300
    - RAM: 32GB ECC

    Mein Usecase: Virtualisierung via Proxmox
    - Nextcloud
    - PiHole
    - NAS
    - diverse Testserver
    - ...

    Was den Speicher betrifft möchte ich möglichst redundant arbeiten. Meine Idee war, OS und den Speicher für die VM's physikalisch zu trennen und jeweils zu spiegeln (Hardware- oder ZFS-mirror):

    2x SATA-DOM 32GB - System - Supermicro
    1X SSD 512GB - für Cache - ???
    2x NVMe/SSD ~1TB - für VM's - ???
    diverse 4TB HDD's für die Daten (ZFS-Pool)

    Jetzt zu meinen eigentlichen Fragen:
    1) Macht mein gesamt-Aufbau grundsätzlich Sinn?
    2) Soll ich für das System eher auf ein Hardware-Raid oder ZFS-mirror setzen?
    3) Ist die Cache-SSD zu gross?
    4) Kann ich alles (ZFS ZIL & SLOG & L2ARC) über die Cache-SSD laufen lassen?
    5) Welche SSD empfehlt ihr für Cache? Ich sehe immer wieder bestimmte DataCenter SSD's, die aber recht teuer sind...

    Besten Dank schonmal!
    Jeschke

  2. Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

  3. #2
    Oberleutnant zur See
    Registriert seit
    14.08.2014
    Ort
    Serverraum
    Beiträge
    1.317


    • Systeminfo
      • Motherboard:
      • Supermicro X11SSH-CTF / Thinkpad T470p
      • CPU:
      • Xeon E3-1240v5/ i7-7820HQ
      • Systemname:
      • 'Blechtrottl'
      • Kühlung:
      • NH-D15S / TP
      • Gehäuse:
      • Fractal Define R4 / TP
      • RAM:
      • 64GB ECC / 32GB
      • Grafik:
      • AST2400 / i7+Nvidia 940MX
      • Storage:
      • 6xSM863+6xHC530+i900p / PM961 1TB+MTS400 512GB
      • Monitor:
      • - / 2*Dell U2717D
      • Netzwerk:
      • 10Gbase-T (XS708-E) + 1Gbase-T
      • Sound:
      • - / SoundBlaster HD USB + Logi Z-2300
      • Netzteil:
      • 400W Bequiet StraightPower 10
      • Betriebssystem:
      • ESXI+FreeBSD / W10+W8
      • Sonstiges:
      • + 2x Dell T20 Xeon + 1x Lenovo M93p i5-4570 + 1x Asrock Z77 i7-3770K 4.5Ghz + X10SL7-F E3-1275v3
      • Notebook:
      • Thinkpad T470p

    Standard

    schlechte gehäusewahl. Die HDD hängen an Haltern in der Luft , die durch die Vibrationen schnell zu Schwinggabeln werden können und die Kiste dann brummt .
    Wenn Du ein extra ZFS Slog willst, dann nimm ne Intel Optane 800 oder höher. Auf der kannst dann durchaus auch den L2Arc unterbringen, du musst dann aber manuell partitionieren.
    Achtung: Ein Slog ist kein allg. Schreibcache! Das hilft nur für Sync writes. SMB/Samba fällt da per default nicht darunter.
    Geändert von Trambahner (13.11.19 um 11:57 Uhr)

  4. #3
    Obergefreiter
    Registriert seit
    22.07.2013
    Beiträge
    118


    Standard

    1. Kein Hardware-RAID! Sondern ZFS.
    2. SSD Cache bringt es nicht:
    - SLOG braucht nur eine kleine SSD (8GB), will aber nicht mit anderen Zugriffen auf die SSD konkurrieren (vor allem nicht L2ARC!). Übrigens: SLOG = ZIL, das auf separate Partition geschrieben wird (eben das SLOG= Separate [ZFS intention] LOG). Ausnahme: Optane, die ist schnell genug "für alles".
    - SLOG vermutlich überflüssig, Wenn Du die VMs ohnehin auf einem separaten SSD pool laufen lässt, brauchst Du auch nicht unbedingt ein SLOG (abhängig was an VMs läuft, das o.g. ist unkritisch). Auf die Datenspeicher wird ja vermutlich mit CIFS/SMB zugegriffen, so dass dort ohnehin keine sync writes anfallen (SLOG als nutzlos rumliegt).
    - L2ARC bringt quasi keinen Vorteil in einem home szenario (wenige user = wenige gleichzeitige Zugriffe).
    Wenn Du wenig ZFS Erfahrung hast, lass die Cache SSD weg!

  5. #4
    Oberleutnant zur See
    Registriert seit
    14.08.2014
    Ort
    Serverraum
    Beiträge
    1.317


    • Systeminfo
      • Motherboard:
      • Supermicro X11SSH-CTF / Thinkpad T470p
      • CPU:
      • Xeon E3-1240v5/ i7-7820HQ
      • Systemname:
      • 'Blechtrottl'
      • Kühlung:
      • NH-D15S / TP
      • Gehäuse:
      • Fractal Define R4 / TP
      • RAM:
      • 64GB ECC / 32GB
      • Grafik:
      • AST2400 / i7+Nvidia 940MX
      • Storage:
      • 6xSM863+6xHC530+i900p / PM961 1TB+MTS400 512GB
      • Monitor:
      • - / 2*Dell U2717D
      • Netzwerk:
      • 10Gbase-T (XS708-E) + 1Gbase-T
      • Sound:
      • - / SoundBlaster HD USB + Logi Z-2300
      • Netzteil:
      • 400W Bequiet StraightPower 10
      • Betriebssystem:
      • ESXI+FreeBSD / W10+W8
      • Sonstiges:
      • + 2x Dell T20 Xeon + 1x Lenovo M93p i5-4570 + 1x Asrock Z77 i7-3770K 4.5Ghz + X10SL7-F E3-1275v3
      • Notebook:
      • Thinkpad T470p

    Standard

    Yup, Cache-SSD und Slog sind daheim nicht immer, aber relativ oft nutzlos.

    Abgesehen davon: eine 900p oder 905 kann serwohl als Slog und L2Arc gleichzeitig dienen. Klassische Flash-SSDs sind dafür nicht geeignet.

    L2Arc erst einsetzen , wenn der technisch maximale RAM-Ausbau erreicht .
    Geändert von Trambahner (13.11.19 um 12:03 Uhr)

  6. #5
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    Zitat Zitat von Trambahner Beitrag anzeigen
    schlechte gehäusewahl. Die HDD hängen an Haltern in der Luft , die durch die Vibrationen schnell zu Schwinggabeln werden können und die Kiste dann brummt .
    Wenn Du ein extra ZFS Slog willst, dann nimm ne Intel Optane 800 oder höher. Auf der kannst dann durchaus auch den L2Arc unterbringen, du musst dann aber manuell partitionieren.
    Achtung: Ein Slog ist kein allg. Schreibcache! Das hilft nur für Sync writes. SMB/Samba fällt da per default nicht darunter.
    Welches Gehäuse würdest du empfehlen?

    - - - Updated - - -

    Zitat Zitat von asche77 Beitrag anzeigen
    1. Kein Hardware-RAID! Sondern ZFS.
    2. SSD Cache bringt es nicht:
    - SLOG braucht nur eine kleine SSD (8GB), will aber nicht mit anderen Zugriffen auf die SSD konkurrieren (vor allem nicht L2ARC!). Übrigens: SLOG = ZIL, das auf separate Partition geschrieben wird (eben das SLOG= Separate [ZFS intention] LOG). Ausnahme: Optane, die ist schnell genug "für alles".
    - SLOG vermutlich überflüssig, Wenn Du die VMs ohnehin auf einem separaten SSD pool laufen lässt, brauchst Du auch nicht unbedingt ein SLOG (abhängig was an VMs läuft, das o.g. ist unkritisch). Auf die Datenspeicher wird ja vermutlich mit CIFS/SMB zugegriffen, so dass dort ohnehin keine sync writes anfallen (SLOG als nutzlos rumliegt).
    - L2ARC bringt quasi keinen Vorteil in einem home szenario (wenige user = wenige gleichzeitige Zugriffe).
    Wenn Du wenig ZFS Erfahrung hast, lass die Cache SSD weg!
    Das heißt:

    1. 2x SATADOM als ZFS-mirror für Proxmox
    2. keine Cache-SSD da für Homeserver (vorerst) overkill bzw unnötig
    3. Gehäuse sollte ein anderes sein

    Korrekt?

  7. #6
    Oberleutnant zur See
    Registriert seit
    14.08.2014
    Ort
    Serverraum
    Beiträge
    1.317


    • Systeminfo
      • Motherboard:
      • Supermicro X11SSH-CTF / Thinkpad T470p
      • CPU:
      • Xeon E3-1240v5/ i7-7820HQ
      • Systemname:
      • 'Blechtrottl'
      • Kühlung:
      • NH-D15S / TP
      • Gehäuse:
      • Fractal Define R4 / TP
      • RAM:
      • 64GB ECC / 32GB
      • Grafik:
      • AST2400 / i7+Nvidia 940MX
      • Storage:
      • 6xSM863+6xHC530+i900p / PM961 1TB+MTS400 512GB
      • Monitor:
      • - / 2*Dell U2717D
      • Netzwerk:
      • 10Gbase-T (XS708-E) + 1Gbase-T
      • Sound:
      • - / SoundBlaster HD USB + Logi Z-2300
      • Netzteil:
      • 400W Bequiet StraightPower 10
      • Betriebssystem:
      • ESXI+FreeBSD / W10+W8
      • Sonstiges:
      • + 2x Dell T20 Xeon + 1x Lenovo M93p i5-4570 + 1x Asrock Z77 i7-3770K 4.5Ghz + X10SL7-F E3-1275v3
      • Notebook:
      • Thinkpad T470p

    Standard

    Define R4/R5 oder XL R2, wenn es Fractal sein soll.
    Das R4 hab ich selber im Einsatz.
    Geändert von Trambahner (13.11.19 um 12:42 Uhr)

  8. #7
    Leutnant zur See Avatar von martingo
    Registriert seit
    17.01.2017
    Beiträge
    1.069


    Standard

    Die meisten SATA DOMs haben den Ruf, ähnlich schnell zu sterben wie USB Sticks, wenn ein Betriebssystem viel Logs etc schreibt (und das trifft für Proxmox zu). Besser zwei einfache SSDs.

  9. #8
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    Es muss kein Fractal sein, bin für alle Vorschläge offen!

    Ist das genannte Netzteil angemessen oder reichen für mein Setup auch 400W ?

    - - - Updated - - -

    Zitat Zitat von martingo Beitrag anzeigen
    Die meisten SATA DOMs haben den Ruf, ähnlich schnell zu sterben wie USB Sticks, wenn ein Betriebssystem viel Logs etc schreibt (und das trifft für Proxmox zu). Besser zwei einfache SSDs.
    d.h. ich könnte die für Cache gedachte Platte für Logs nutzen um die SATADOM's zu schonen oder macht das keinen Sinn?

  10. #9
    Leutnant zur See Avatar von martingo
    Registriert seit
    17.01.2017
    Beiträge
    1.069


    Standard

    Würde ich nicht machen. Keep it small and simple und so. Für Proxmox reichen zwei kleine 30€ SSDs.

  11. #10
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    also...

    2x kleine SSD mit ZFS-mirror für OS - würde sowas wie die Kingston A400 120 GB gehen?
    2x NVMe/SSD mit ZFS-mirror für VM's
    und keine Cache/Log-SSD
    Geändert von jeschke (13.11.19 um 14:09 Uhr)

  12. #11
    Leutnant zur See Avatar von martingo
    Registriert seit
    17.01.2017
    Beiträge
    1.069


    Standard

    Ja, würde dafür passen.

    Theoretisch könntest Du Dir die OS SSDs auch komplett sparen und Proxmox mit auf den nvme mirror packen. Ist eh Standardeinstellung bei proxmox, dass vms auf dem gleichen Pool angelegt werden.
    Voraussetzung wäre nur, dass du von den nvmes booten kannst.

  13. #12
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    Zitat Zitat von martingo Beitrag anzeigen
    Ja, würde dafür passen.

    Theoretisch könntest Du Dir die OS SSDs auch komplett sparen und Proxmox mit auf den nvme mirror packen. Ist eh Standardeinstellung bei proxmox, dass vms auf dem gleichen Pool angelegt werden.
    Voraussetzung wäre nur, dass du von den nvmes booten kannst.
    das sollte gehen laut Manual - sehr gut, dann habe ich noch 2 Anschlüsse mehr frei!

    Gibt es weitere Vorschläge bzgl Case? Habe jetzt 2 zur "Auswahl", höre aber gerne noch weitere Vorschläge:
    - Fractal Design Define R5 Black (ATX/mATX)
    - Nanoxia Deep Silence 4 (mATX)

    Besten Dank schon mal an alle!

  14. #13
    gea
    gea ist offline
    Kapitän zur See
    Registriert seit
    16.11.2010
    Beiträge
    3.758


    Standard

    Bei NMVme/SSD Pool und ausreichend RAM braucht man üblicherweise weder Slog noch L2Arc. Wenn man allerdings VMs auf dem Storage hat, sollte man sync aktivieren. Ansonst kann ein Absturz beim Schreiben ein defektes VM Dateisystem bedeuten, auch wenn ZFS selbst valide bleibt.

    NVMe/SSD mit Powerloss Protection (die besseren haben das) ist dann aber sinnvoll.

  15. #14
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    Vielen Dank für eure Hilfe!

    mein Setup sollte dann also in etwa so aussehen:

    2x 1TB m.2 (Samsung 983 DCT oder Intel DC P4511) für System und VM's im ZFS-Mirror
    5x 4TB SATA im ZFS-Pool

    Gibt es eine Empfehlung für/gegen die Samsung/Intel?

  16. #15
    Obergefreiter
    Registriert seit
    22.07.2013
    Beiträge
    118


    Standard

    Zitat Zitat von jeschke Beitrag anzeigen
    5x 4TB SATA im ZFS-Pool
    Falls die 4TB HDDs noch nicht vorhanden sein sollten:

    Lieber wenige große Helium-gefüllte Platten kaufen (und als Mirror einbinden). Weniger Strom, mehr Speicherplatz, und vor allem später leichter erweiterbar (2. mirror als weiteres vdev/separaten pool hinzufügen).
    Geändert von asche77 (14.11.19 um 13:56 Uhr)

  17. #16
    Matrose
    Registriert seit
    13.11.2019
    Beiträge
    14
    Themenstarter


    Standard

    Zitat Zitat von asche77 Beitrag anzeigen
    Falls die 4TB HDDs noch nicht vorhanden sein sollten:

    Lieber wenige große Helium-gefüllte Platten kaufen (und als Mirror einbinden). Weniger Strom, mehr Speicherplatz, und vor allem später leichter erweiterbar (2. mirror als weiteres vdev/separaten pool hinzufügen).
    Danke für den Hinweis!
    Werde vermutlich mit zwei 10TB WD Red's beginnen...

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •