Aktuelles

[Projekt] Selbstbau-NAS mit ZFS - auf Proxmox Basis?

Badrig

Nostalgiker
Thread Starter
Mitglied seit
28.01.2006
Beiträge
8.868
Ort
Berlin
Hey zusammen, bei mir steht in näherer Zukunft ein größerer Umbau an. Durch mein Workstation Upgrade wurde folgende Hardware frei:
  • Xeon E-2176G
  • WS C246M PRO
  • 64GB DDR4 ECC
  • WD Black SN750 1TB
  • ASUS XG-C100C 10G NIC
Auf dieser Basis will ich ein neues NAS bauen, das mein QNAP ablösen soll. Erste Ausbaustufe sollen 54TB netto werden, ich denke an 4x 18 TB (Z1). In einer zweiten Stufe könnten weitere 4 HDDs@Z1 dazu kommen.
Meine erste Idee war Proxmox zu verwenden, weil ich damit aktuell gute Erfahrungen mache, darauf dann nur einen kleinen Dateiserver virtualisieren und evtl noch ein paar andere kleine VMs laufen zu lassen.
Wichtig sind vor allem Sicherheit und auch Geschwindigkeit.

Konkrete Fragen:
  • Ist es clever das ZFS direkt in Proxmox anzulegen?
  • Welche VM oder LXC wären geeignet für einen kleinen SMB-Dateiserver?
  • Gibts an der Hardware etwas auszusetzen? (außer dass ich ohne IPMI auskommen muss)
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.

asche77

Experte
Mitglied seit
22.07.2013
Beiträge
632
Bei der Festplattengröße und Kriterium "Sicherheit" verbietet sich eigentlich ein Z1 ...

Proxmox ZFS: Geht; Vorteil: Du musst keine HBA/Disks durchreichen an VMs; Nachteil: keine GUI / nette Verwaltungstools.
VM/LXC: Das übliche - OmniOS+napp-it, TrueNAS, XigmaNAS, OMV, ...
Hardware: Die consumer nvme scheint mir eher überflüssig.
 

Badrig

Nostalgiker
Thread Starter
Mitglied seit
28.01.2006
Beiträge
8.868
Ort
Berlin
Danke. Ich muss noch dazu sagen, dass es das komplette NAS regelmäßig gebackupt wird auf einen zweiten Server. Was wäre die Alternative zu Z1? Z2 bei größeren vdevs?
Die Sache mit der GUI wäre tatsächlich nett, aber der zusätzliche Aufwand macht es irgendwie wieder unattraktiver als das, was die GUI an Vorteilen bringt.

Die genannten Beispiele für VM/LXC schau ich mir mal an, danke!

Die SSD liegt einfach noch rum, ich würde jetzt nicht extra eine neue kaufen 🤷‍♀️
 

wasdenn

Enthusiast
Mitglied seit
26.03.2006
Beiträge
424
Wird eigentlich eine Storage-VM benötigt wenn einfach auf Proxmox Ebene ZFS verwendet wird? Als Alternative könntest du dir ggf. TrueNAS Scale ebenfalls auf Debian 11 Basis anschauen. Es werden Docker und virtuelle Maschinen (KVM) OOTB unterstützt.
 

asche77

Experte
Mitglied seit
22.07.2013
Beiträge
632
Danke. Ich muss noch dazu sagen, dass es das komplette NAS regelmäßig gebackupt wird auf einen zweiten Server. Was wäre die Alternative zu Z1? Z2 bei größeren vdevs?
Bei wirklich regelmäßigen Backups könnte Z1 durchaus OK sein - Du musst nur damit leben können, dass ggfs beim resilver eine zweite Platte und damit der Pool Hops geht (und Du dann die 54TB aus dem Backup wieder einspielen musst). Du musst also eine lange downtime in Kauf nehmen können.
 

deveth0

Urgestein
Mitglied seit
24.10.2010
Beiträge
2.159
Ich habe bei mir etwas ähnliches laufen, allerdings mit itx Board.
Ansonsten habe ich es so gemacht, dass ich auf die nvme proxmox und meine vms packe und den kompletten SATA Controller an eine Truenas VM durchreiche.
Vorteil für mich ist, dass ich wie auf meinen anderen Kisten auch, erstmal proxmox als Basis habe, trotzdem aber die zfs Verwaltung über truenas mache.

Wenn im worst case die nvme abraucht, stelle ich einfach eins der täglichen Backups her und gut ist.
 

Badrig

Nostalgiker
Thread Starter
Mitglied seit
28.01.2006
Beiträge
8.868
Ort
Berlin
Ich hab nur gelesen, dass die Performance bei einem virtualisierten FreeNAS/TrueNAS nicht der Hit sein soll. Sonst wäre das natürlich auch eine Option. Und überhaupt, wie schneidet ZFS eigentlich performancemäßig ab (Z1 vs Hardware-Raid5)?
 

Trambahner

Experte
Mitglied seit
14.08.2014
Beiträge
2.171
Ort
Serverraum
Wenn Du die SSD/HDD per Passthrough über einen Hostbusadapter in die VM durchreichst, und dieser hinreichend Ram zuweist, hast du annähernd native Performance wie direkt am Blech.
Zumindest bei ESXI ist das der Fall. Bei Proxmox kann ichs mangels Erfahrung damit nicht einschätzen.

ZFS-Vorteile: Massiv Prüfsummen, copy-on-write Dateisystem (=>kein Write-Hole). ZFS integriert Volume-Manager und Dateisystem in eins, so dass es im Gegensatz zu einem Raidcontroller jederzeit weiss,
wo welche Datenblöcke und deren Redundanz sind.
=> Generell mehr Verwaltungsbedarf als bei einem einfachen Dateisystem auf nem Hw Raid5, da ZFS in erster Linie auf Datenintegrität ausgelegt ist. Wird aber in der Regel kompensiert durch den großen Ram-Cache (ARC) und die Schreibstrategie, so dass ZFS bei ordentlicher Ausstattung sehr performant sein kann. Insbesondere Random Schreibvorgänge werden nach Möglichkeit durch den Ram-Cache serialisiert.

Bei 18TB-Platten würde ich aber wie Asche77 von Raid5/Z1 abraten und zu Raid6/Z2 raten.

Die Aquantia 10G-NIC, wenn sie läuft mit dem OS/Hypervisor der Wahl, fein. Aber, ich formulier es mal so: wäre nicht meine Wahl.
 
Zuletzt bearbeitet:

Digi-Quick

Urgestein
Mitglied seit
02.09.2009
Beiträge
6.923
Wird eigentlich eine Storage-VM benötigt wenn einfach auf Proxmox Ebene ZFS verwendet wird? Als Alternative könntest du dir ggf. TrueNAS Scale ebenfalls auf Debian 11 Basis anschauen. Es werden Docker und virtuelle Maschinen (KVM) OOTB unterstützt.
Hmmm....
Proxmox basiert auf Debian, TrueNAS Scale ebenfalls
Könnte man da nicht beides kombinieren?
Oder bringt TrueNAS Scale eventuell sogar die gleiche Virtualisierung von Proxmox schon mit?
Soweit ich das sehe haben beide KVM für VMs
Nur bei den Containern gibt es unterschiede - LXC vs Docker - wobei Docker zumindest bei der normalen TrueNAS Version nicht mehr dabei ist bzw. über eine zu installierende Debian VM hinzufügbar ist.

Demanch wäre TrueNAS Scale das "bessere" Proxmox?
(Vermutlich sehe ich das zu einfach)
 

asche77

Experte
Mitglied seit
22.07.2013
Beiträge
632
TrueNAS SCALE soll in der Tat ein "besseres" proxmox werden, daher sowohl storage als auch Container als auch VMs unter einem Dach abbilden. (Bei proxmox ist zumindest storage nur rudimentär umgesetzt)

Dafür ist proxmox frei und bewährt, TrueNAS SCALE gerade erst beim ersten Release Candidate.
 

gea

Enthusiast
Mitglied seit
16.11.2010
Beiträge
4.603
Storage ist immer "mission critical" - sollte immer laufen. Je mehr Funktionen man dazu packt desto mehr gefärdet man dessen Funktionsfähigkeit. Ein Storageserver der weitere Dienste bereitstellen muss ist dann im Fall der Fälle beim kleinsten Problem offline, braucht Wartung oder es stehen kritische Bugfixes an - natürlich mit Reboot und hoffen dass alles nacher wieder läuft..

Sicherheitsbewusste Windows Nutzer werden daher kaum auf >14 Tage uptime kommen.
OmniOS/Openindiana uptime > 1000 Tage z.B ist aber keine Seltenheit und im Vergleich nur ein relativ kleines Sicherheitsproblem.

Wirklich stabiles Storage ist minimalistisches "Storage only" und eher abseits vom Mainstream "unter Dauerfeuer" Linux und Windows.
 
Zuletzt bearbeitet:
  • Danke
Reaktionen: you
Oben Unten