Migration Proxmox auf neue Hardware - ZFS?

[buzzzer]

Moin.

ich möchte meine „Kisten“ auf einen einzelnen Server migrieren.

Aktuell habe ich folgendes:
Synology DS218+ mit 2x10TB im Raid1 als Datengrab. Per USB nochmal 10TB als Backup.
Intel NUC DN2820FYKH / Intel Celeron N2820 / 4GB / 525GB SSD - Proxmox Backup Server
Fujitsu Futro S740 / Intel Celeron J4105 / 8GB / 256GB SSD - Proxmox Host 1
Chuwi LarkBox X / Intel N100 / 12 GB / 512GB SSD - Proxmox Host 2

Nach Lesen einiger Threads hier, kann ich vorhandenes nutzen: AM4 Board und NT:
ASUS TUF Gaming B550M-Plus [WI-FI]
Thermaltake ToughPower GF3 ARGB 750W ATX 3.0

Dazu habe ich CPU und RAM bestellt:
AMD Ryzen 5 PRO 5655G, 6C/12T, 3.90-4.40GHz, tray
Mushkin Proline DIMM 32GB, DDR4-3200, CL22-22-22-52, ECC (2x)

Ich hab noch zwei NVMe rumliegen, da kann ich doch eine für den Proxmox Host nutzen, was meint ihr?
SanDisk Extreme Pro M.2 NVMe 3D SSD 1TB, M.2 2280 / M-Key / PCIe 3.0 x4
Western Digital WD Blue SN550 NVMe SSD 1TB, M.2 2280 / M-Key / PCIe 3.0 x4

Ich würde erstmal den Proxmox Host aufbauen wollen und dann zwei 20TB Platten als Datengrab kaufen.
Bisher liefen die Systeme auf ext4. Jetzt wäre die Gelegenheit auf ZFS umzustellen.
Es scheint ja einige Möglichkeiten zu geben für ZFS:
Direkt auf dem Proxmox Host nativ oder napp-it, oder in einer VM mit TrueNas oder ähnlichem.

Was würdet ihr mir raten?

 

[flyingjoker]

Ich würde Proxmox immer separat auf einer Platte laufen lassen.
Und dann einen Pool mit ZFS bauen für die Daten.
Im Schnitt gehen 30% Platz für ZFS drauf.
Mit TrueNas habe ich keine Erfahrungen, da es das nicht kostenlos gibt?
Ceph wäre doch auch eine Möglichkeit?

 

[Supaman]

Für Ceph brauchst Du zwingend 3 Nodes - 10GB NICs und Datacenter SSDs mit PLP, ansonsten macht das keinen Spaß.

Ich würde einen PVE Host installieren, und dann eine Storage VM nach persönlichem Gusto.
Dann entweder die Platten als raw device druch reichen, oder den Sata Controller.

TrueNAS gibt es auch als Community Version, wobei zu beachten ist das Core nicht mehr weiternetwickelt wird und auslaufen wird, bleibt also noch Scale übrig.

 

[gea]

TrueNAS gibt es auch als Community Version, wobei zu beachten ist das Core nicht mehr weiternetwickelt wird und auslaufen wird, bleibt also noch Scale übrig.

TrueNAS CORE lives on: Community splits off open source fork zVault

iXsystems will rely on the GNU/Linux version of TrueNAS in the future. The community continues to develop the FreeBSD version TrueNAS CORE in the zVault fork.

www.heise.de

Proxmox ist allerdings das ideale Vielzweck Linux. Als VM Plattform sowieso aber auch als Barebone NAS einsetzbar, mit ZFS immer dabei. Man muss lediglich SAMBA oder das schnellere ksmbd aktivieren. Wenn man eine Storage Web-GUI will, kann man eine Storage Distribution wie TN (oder OmniOS) virtualisieren. Das ist aber Voll Virtualisierung, also ein Debian mit ZFS und SAMBA ontop Debian mit gleichem ZFS das auch SAMBA kann, nicht sehr effizient.

Als Storage Web-GUI add-on für Proxmox gibts Cockpit oder napp-it cs

 

[buzzzer]

Danke für Eure Antworten.
Spricht etwas dagegen den Proxmox Host auf ner alten SSD (500MB lesend) zu installieren? Dann könnte ich ja die beiden NVMe schonmal mit ZFS herumspielen.

 

[AliManali]

Da spricht absolut gar nichts dagegen.

 

[buzzzer]

Moin. Ich habe nun den Proxmox Host auf ner 128GB SSD installiert und die beiden NVMe zu einem ZFS Mirror zusammengefasst.
Zusätzlich wird es noch ein ZFS Pool mit Hdds geben für die Daten.
Bisher mit meinen einzelnen Kisten hattee ich mein NAS immer per NFS (fstab) eingebunden.

Könnte ich jetzt aus den Containern via Samba direkt auf die ZFS Pools auf dem host zugreifen? Gibt es da ein gutes Howto? Ich würde gerne Berechtigungswirrwarr vermeiden

@gea Kann ich ja das von Dir nutzen oder?

napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris : ZFS Web-GUI für Linux ~nka~Debian, Proxmox, Ubuntu~nkz~

napp-it.org - ZFS NAS SAN Server mit einer durch den Benutzer anpassbaren Weboberfläche // All In One server = virtualisierter lauffähiger ZFS-Server

www.napp-it.org

 

[gea]

Einfach SMB (SAMBA oder ksmbd) und Posix ACL auf Proxmox aktivieren. Kernelbased NFS geht auch, ist aber rechtemäßig eine noch viel größere Katastrophe als SAMBA auf Linux mit dem man mit ein paar Einschränkungen im Vergleich zu ntfs/nfs4 Dateisystemen ganz ordentlich arbeiten kann. Dann können alle Clients, egal von wo zugreifen und mann kann das sauber per user kontrollieren.

howto: https://napp-it.org/doc/downloads/proxmox.pdf

napp-it cs kann man noncommercial frei nutzen um damit bis zu 3 Storageserver (ZFS und Windows ZFS/Storage Spaces) zu managen.

 

[VirtuGuy]

Container => einfach Mountpoints nutzen und dir den ganzen SMB Kram sparen.

 

[gea]

Container => einfach Mountpoints nutzen und dir den ganzen SMB Kram sparen.

für lokale VMs in Ordnung, manchmal möchte man aber von überall her oder anderen VMs/Hosts auf die Daten und dafür brauchts dann eine Netzwerkfreigabe und dafür ist SMB nunmal die komfortabelste und schnellste Möglichkeit mit der Option der Rechtevergabe.

 

[VirtuGuy]

Auch in solchen Fällen würde ich auf Mountpoints setzen und die SMB Shares in Proxmox als Storage mounten. Das reduziert den Pflegeaufwand der Container und Proxmox übernimmt auch gleich das Monitoring der Shares.

 

[buzzzer]

Auch in solchen Fällen würde ich auf Mountpoints setzen und die SMB Shares in Proxmox als Storage mounten. Das reduziert den Pflegeaufwand der Container und Proxmox übernimmt auch gleich das Monitoring der Shares.

Moin. Wie meinst Du das genau? "die SMB Shares in Proxmox als Storage mounten."
Externe SMB Shares oder SMB shares auf direkt auf dem eigenen Storage?

Einfach SMB (SAMBA oder ksmbd) und Posix ACL auf Proxmox aktivieren. Kernelbased NFS geht auch, ist aber rechtemäßig eine noch viel größere Katastrophe als SAMBA auf Linux mit dem man mit ein paar Einschränkungen im Vergleich zu ntfs/nfs4 Dateisystemen ganz ordentlich arbeiten kann. Dann können alle Clients, egal von wo zugreifen und mann kann das sauber per user kontrollieren.

howto: https://napp-it.org/doc/downloads/proxmox.pdf

napp-it cs kann man noncommercial frei nutzen um damit bis zu 3 Storageserver (ZFS und Windows ZFS/Storage Spaces) zu managen.

Ich hab das mal probiert
Ich habe auf meinem Proxmox host samba und acl aktiviert, sowie auch napp-it cs kopiert.

Als Gastzugriff aktiv war (share: /tank/data), funktionierte dieser auch wunderbar. Jetzt mit dem User tankboss:tankdata klappt es leider nicht mehr.
Was könnte falsch sein?

Spoiler: smb.conf

[global]
map to guest = Bad User
guest account = nobody
writeable = yes
vfs objects = acl_xattr
map acl inherit = yes

[data]
path = /tank/data
; enable either guest ok or valid users (groupmembers)
valid users = @tankdata
guest ok = no
read only = no

Spoiler: Berechtigungen /tank und tank/data

root@pveam4:~# getfacl /tank/data
getfacl: Removing leading '/' from absolute path names
# file: tank/data
# owner: root
# group: root
user::rwx
group::rwx
group:tankdata:rwx
mask::rwx
other::r--

root@pveam4:~# getfacl /tank/
getfacl: Removing leading '/' from absolute path names
# file: tank/
# owner: root
# group: root
user::rwx
group::r-x
other::r-x

 

[gea]

Bitte mal den [global] Bereich der smb.conf etwas erweitern

[global]
unix charset = UTF-8
server role = standalone server
obey pam restrictions = yes
workgroup = WORKGROUP
vfs objects = acl_xattr
map acl inherit = yes
store dos attributes = yes
server string = SMB-Server
guest account = nobody
browsable = yes
map to guest = bad user

Im Share Bereich z.B. [data4} inherit acls hinzufügen

[data4]
   path = /rpool/data4
   ; enable either guest ok or valid users (groupmembers)
   valid users = @staff
   inherit acls = yes
   guest ok = no
   read only = no

Dann darauf achten dass der Linux user ein Linux und SMB Passwort hat
Wenn man ACL ändert:
systemctl restart samba
In Windows Share disconnect + reconnect nötig, z.B. mit abmelden

in den owner/group Einstellungen ist noch ein kleiner Fehler in der Anzeige current owner/group
Habe ich korrigiert und auch in der proxmox.pdf die [global] Empfehlung erweitert

 

[gea]

Ich habe noch einen Fehler in der Formularverarbeitung "Permissions" entdeckt.
Zum Beheben, neueste Version herunterladen und /var/csweb-gui/data austauschen.

 

[buzzzer]

Hab es nun nach aktueller Anleitung und mit aktueller Version nochmal gemacht.
Nachdem ich passwd und smbpasswd vergeben habe, klappt es.

 

[gea]

Tja, nur unter Solaris/OmniOS oder Windows ist ein System-User auch SMB User (wobei unter Solaris/OmniOS auch das SMB Passwort extra gesetzt werden muss, geht da aber automatisch mit über passwd). Ansonsten ist Samba unter Linux relativ aufwändig in der Konfiguration über die smb.conf. Liegt daran dass "Windows ntfs ACL Kompatibilität" was ja Ziel eines SMB Servers ist, in SAMBA gefakt werden muss, da das zugrundeliegende Linux/Posix Dateisystem inkompatibel zu ntfs ACL ist.

SAMBA mit Posix ACL Rechtevergabe ist aber machbar wenn auch nicht so elegant wie ACL mit nfsv4 oder dem Vorbild ntfs ACL insbesondere wenn man da noch eindeutige Windows SID statt einfacher uid/gid nutzen kann.