[Sammelthread] ZFS Stammtisch

[H_M_Murdock]

@gea Die Proxmox Hosts und TrueNAS laufen dankenswerterweise auf jeweils dedizierter Hardware, insfoern hat TrueNAS die komplette Maschine für sich allein.

Aktuell läuft der SMART Test noch, ich denke dass wenigstens 2 Platten gleich rausfliegen. Von den übrigen werde ich mir denke ich eine Hotspare übrig lassen und dann ein Raid Z2 aufspannen.

Meine beiden Proxmox Hosts haben jeweils nochmal 6x 265 GB SATA SSDs drin, einer davon nochmal eine 256 GB NVMe zusätzlich und noch ein paar HDDs die noch rumlagen.
Außerdem habe ich noch eine Fujitsu Eternus DX60 die ich per iSCSI an den Proxmox Cluster anbinden will.

Mal schauen was draus wird, nachdem ich beruflich fast nur Windowsclients mit AD und oberflächlich ein paar Windowsserver + VMWare, Aruba WLAN und HPE / Aruba Switches und nach und nach mehr Cisco Switches administriere will ich die Umgebung dazu nutzen mein Wissen in Sachen Linux, Proxmox und Docker auszubauen.

 

[pwnbert]

Ach, 32gb RAM sich doch erstmal genug... klar ist mehr immer besser, aber realistisch tut das schon gut.

 

[BobbyD]

Proxmox nutzt bei mir für LXC ZFS-Subvolumes.
Kann ich diese nachträglich verkleinern?

Seltsamerweise werden keine Werte ausgegeben...

root@pve:~# zfs get volsize crucial/subvol-410-disk-0
NAME                       PROPERTY  VALUE    SOURCE
crucial/subvol-410-disk-0  volsize   -        -

Und wenn es ginge, was wären die Folgen, z.B. für Fragmentation etc.

 

[H_M_Murdock]

Ach, 32gb RAM sich doch erstmal genug... klar ist mehr immer besser, aber realistisch tut das schon gut.

Wie gesagt, das NAS wird in dem Sinne vermutlich nie viel Last sehen.
Die Maschine könnte ich im Prinzip noch ordentlich aufrüsten. Mit einer zweiten CPU wären theoretisch bis zu 768 GB möglich. Eigentlich ist das Teil als NAS ziemlich cool.
Vor allem hat der Server frontseitig 12x 3,5 Zoll Einschübe und rückseitig nochmal 2x 2,5 Zoll Einschübe, das nenne ich mal ein interessantes Layout.

Meine Proxmox Hosts haben jeweils 512 GB RAM, wobei bei einem der beiden leider ein 32 GB Modul defekt ist. Davon könnte ich evtl sogar was fürs NAS abzweigen, aber solang es nicht Not tut lasse ich es so wie es ist.

Der SMART Test läuft immer noch, ich bin mal gespannt wie viele Platten unbrauchbar sind. Ich vermute mal dass 2 von den 10x 4 TB nicht mehr zu verwenden sind.

EDIT:
So ich bin jetzt erstmal zufrieden:

Tatsächlich sind 2 Platten nicht mehr in Ordnung, die habe ich ausgespart, eine habe ich als Hotspare verwendet und 7 sind aktiv im Pool.
Extra Platten für Log etc habe ich mir jetzt nicht geleistet, ich denke das ist bei meiner Nutzung auch ziemlich egal.

Der RAM war als ich meine Daten drauf kopiert habe mal ziemlich voll, danach aber auch schnell wieder leer. ZFS nimmt sich halt was es kriegen kann wenn es benötigt wird, ist ja auch gut so.
Allzu tief eingestiegen bin ich jetzt noch nicht aber so auf den ersten Blick ist mir das System schonmal recht sympatisch.

 

[BobbyD]

Kann ich diese nachträglich verkleinern?

Niemand?

 

[Kavendish]

Niemand?

Bisher nicht, aber da ich selbst den ein oder anderen Container verkleinern wollen würde, habe ich mal gesucht und bin auf https://www.reddit.com/r/Proxmox/comments/jvsyl3/is_there_a_quicker_way_than_backup_and_restore_to/ gestoßen.

does this work for ZFS?

edit: for ZFS:

1. shut down LXC
2. zfs set refquota=<size> <pool>/<dataset>/subvol-<lxc ID>-disk-0
3. (for example, zfs set refquota=1G fastpool/ct-store/subvol-109-disk-0)
4. pct rescan

based on: Shrinking ZFS filesystem for LXC CT | Proxmox Support Forum and it worked for m

Erfolgreich einen LXC mit Kavita Installation von 8G auf 3G verkleinert

 

[BobbyD]

@Kavendish Deswegen sehe ich auch Werte nur bei einer VM und nicht bei den LXC, weil das dann wohl über Quotas läuft. Danke, werd ich mal riskieren zu probieren. Aber wieder mal schade, dass das nicht leicht zu finden ist.

Beitrag automatisch zusammengeführt: 18.06.2025

@Kavendish Danke Dir, kann jetzt auch Vollzug melden.

root@pve:~# zfs list crucial/subvol-405-disk-0
NAME                        USED  AVAIL  REFER  MOUNTPOINT
crucial/subvol-405-disk-0  3.31G  20.7G  3.31G  /crucial/subvol-405-disk-0
root@pve:~# zfs get refquota crucial/subvol-405-disk-0
NAME                       PROPERTY  VALUE     SOURCE
crucial/subvol-405-disk-0  refquota  24G       local
root@pve:~# zfs set refquota=8G crucial/subvol-405-disk-0
root@pve:~# pct rescan
rescan volumes...
CT 405: updated volume size of 'crucial:subvol-405-disk-0' in config.
root@pve:~# zfs get refquota crucial/subvol-405-disk-0
NAME                       PROPERTY  VALUE     SOURCE
crucial/subvol-405-disk-0  refquota  8G        local
root@pve:~#

 

[gea]

werden zwar immer weniger...

After an update to Solaris 11.4 cbe > sru81 (pkg update, current CBE with sru 81 supports ZFS v53)
add the following links (Putty as root, copy/paste with a mouse right click, or minihttpd cannot start)
ln -s /lib/libssl.so /usr/lib/libssl.so.1.0.0
ln -s /lib/libcrypto.so /usr/lib/libcrypto.so.1.0.0

user napp-it requires a password (or PAM error)
passwd napp-it

napp-it web-gui (or tty error)
you need to update napp-it to newest v.25+

 

[Fischje]

.... ZFS gibt sicher Bescheid, wenn es Probleme gibt. Alle 2-4 Wochen einen scrub machen um rechtzeitig Probleme zu finden. (Backup wichtiger Daten nicht vergessen)

Wo denn? Hatte ich noch nicht, aber wo sähe ich dass denn außer mit zpool status ?

 

[gea]

Wo denn? Hatte ich noch nicht, aber wo sähe ich dass denn außer mit zpool status ?

Einzelne Fehler würde man an an checksum errors in zpool status sehen. Massive Fehler dann in einem degraded pool bei dem ZFS die Platte wegen "too many errors" aus dem Pool nimmt.

Mit zpool iostat kann man frühzeitig prüfen ob sich die Last gleichmäßig auf alle Platten verteilt. Deutlich schlechtere %wait und %busy Werte einzelner Platten sind ein Indiz für "schlechte" Platten

 

[CommanderBond]

Ich stelle meine Frage mal hier weil es eigentlich mehr ein ZFS Thema ist. Ich habe folgendes Problem:

Ich habe einen Proxmox Server mit 2 M.2 welche als Mirror laufen. Auf diesem läuft auch das OS. Die Bootreihenfolge ist so dass die beiden M.2s ganz vorne sind.

Jetzt habe ich die erste M.2 mal ausgebaut um zu sehen was passiert. Ergebnis die Kiste fährt gar nicht mehr hoch.

Das verstehe ich nicht und ist nicht das Verhalten was ich erwarten würde. Damit kann ich mir den Mirror ja faktisch gleich sparen.

Grund? Lösung? Ist ein ZFS Mirror fürs OS wirklich komplett sinnlos?

edit: Okay da scheint noch etwas anderes reinzuspielen. Glaube der Rechner mag generell nicht ohne Bildschirm booten.

 

[ludwinator]

zfs kümmert sich hier NICHT um den Bootloader etc,
zpool status -v sollte dir zeigen, das die m.2 partitioniert sind und erst Partion p3 zum pool gehört.

cu

 

[besterino]

Das kümmt in der Tat darauf an, wie das konfiguriert ist. Wie Proxmos das macht, weiß ich nicht, aber mit Solaris 11.3/11.4 konnte man durchaus einen beliebigen Datenträger entfernen und das System bootete trotzdem anstandslos mit dem noch vorhandenen.

Da geht das so:

Managing ZFS File Systems in Oracle Solaris 11.4

docs.oracle.com

Das dürfte allerdings mit Proxmox so NICHT funktionieren.

 

[CommanderBond]

Okay. Mein Problem hing jetzt tatsächlich doch mit einer doppelten IP im Netzwerk zusammen. Proxmox bootet egal welche M.2 man von beiden entfernt auch ohne Bildschirm und Tastatur dran.

Bootloader scheint auf beiden Platten vorhanden zu sein

 

[sandreas]

Niemand?

Achtung, folgendes funktioniert nicht mit Datasets:

Die Gast-Partition (also in der VM) erst manuell verkleinern, dann

# hier bitte die Größe und die VM-ID / Disk anpassen
zfs set volsize=120G rpool/data/vm-999-disk-9
qm rescan

Wenn man die Partitionstabelle zerschießt, kann man ne Live-Disk mit Gparted booten, gdisk starten und v,x,e,w and y drücken:

gdisk /dev/vda

Ne schöne Diskussion gibts dazu hier (auch mit anderen Wegen):

Shrink ZFS disk

Hi. I'm running on Proxmox VE 5.1 on a single node, the filesystem is on ZFS (ZRAID1) and all the VM disks are on local zfs pools. When trying to expand the vm 100 disk from 80 to 160gb i wrote the dimension in Mb instead of Gb so now i have a 80Tb drive instead of a 160Gb ( on a 240gb...

forum.proxmox.com