[Sammelthread] Proxmox Stammtisch

[Supaman]

@Spliffsta

Dann überprüfe doch mal die vollständigen Parameter (Frames, Hz, Farbtiefe und Bitrate) und rechne den benötigenten Datendurchsatz nach. Wenn man die Bitrate nur hoch genug schraubt, kann man auch alles in die Knie zwingen. Früher hat man das hier gerne als Benchmark genommen, weil hohe Bitrate:

Big Buck Bunny » Download

Weiterhin prüfen: änderung des Protokolls, da z.B. NFS-TCP deutlich weniger Protokoll Overhead hat, wie SMB.

 

[Shihatsu]

Moin!

Ich möchte mir ein lokalen PBS als VM in meinem PVE installieren und an diese VM einen Datenträger durchreichen. Das ist eine WD SN850x.
Aktueller Stand Hardware:

• Gebootet wird von einem ZFS-Sata-Mirror
• Das Mainboard ist ein H12SSL-i
• Die VMs liegen auf zwei verschiedenen ZFS-NVME-Mirror (via Asus Hyper16)
• Eingebaut sind außerdem eine an eine VM durchgereichte GPU (jellyfin), eine an eine VM durchgereichte i350 NIC (virtualisierte OPNsense) und eine 10G NIC.

Ich möchte also die NVME einbauen (möglichst ohne das sich irgendwas an den Adressen der Karten - vor allem den durchgereichten - ändert) und diese dann einfach als Datenplatte in den PBS einhängen.
Damit möchte ich erreiche das falls mir mein PVE abschmiert ich nur den PBS installieren muss, die Platte einhänge und dann nur noch lokale Backups einspiele. Lokal deshalb weil ich während Backups so wenig wie möglich Downtime habe.

Jetzt dazu meine Fragen:
Reiche ich einfach den Controller durch oder doch die einzelne Platte?
Wie krieg ich möglichst beste Performance für diese Schreibvorgänge?
Es ist eine einzelne Platte - trotzdem ZFS? Wie wichtig ist hier ein Mirror?
Kann ich irgendwie PCIe-Nerverreien aufgrund eines zusätzlichen Geräts vermeiden?

Fragende Grüße!

 

[Supaman]

@Shihatsu

1) die Interfaces vorher per MAC an einen Namen koppeln, habe ich schon etliche male hier beschrieben

2) Datenträger durchreichen:

# devices auflisten / identifizieren
> ls -la /dev/disk/by-id/

# device der VM zufügen
> qm set 100 -scsi1 /dev/disk/by-id/nvme-SAMSUNG_MZ1LB960HAJQ-00007_S666NA0N1234567

100 = VM ID
nvme-SAMSUNG_MZ1LB960HAJQ-00007_S666NA0N1234567 = Device Name der NVME, beinhaltet eigentlich immer die SN

dann im PVE GUI prüfen / aktualisieren
letzter Schritt: VM Hardware - Disk:
[x] SSD Emulation
[ ] Backup <---- Haken entfernen


3) im PBS
Datenträger formatieren, Datastore etc - ich nehme immer ext4 und hatte bisher keine Probleme.

Wenn Du eine NVME als Backup Target verwendest, sorge für ausreichende Kühlung!
Nach meinem Wissen sinkt bei allen m2 SSDs die Schreibrate wenn sie zu heiss werden.

 

[wenzilinho]

Muss man die VMs aus dem Backup restoren, obwohl die auf dem 2ten Mirror vorhanden sind? Kann man die nach Neuinstallation von PVE nicht irgendwie neu registrieren?

 

[Supaman]

Kannst Du das etwas auführlicher beschreiben, was der Ausgangszustand und das Ziel ist ?

 

[wenzilinho]

• Gebootet wird von einem ZFS-Sata-Mirror
• Das Mainboard ist ein H12SSL-i
• Die VMs liegen auf zwei verschiedenen ZFS-NVME-Mirror (via Asus Hyper16)
• Eingebaut sind außerdem eine an eine VM durchgereichte GPU (jellyfin), eine an eine VM durchgereichte i350 NIC (virtualisierte OPNsense) und eine 10G NIC.

Damit möchte ich erreiche das falls mir mein PVE abschmiert ich nur den PBS installieren muss, die Platte einhänge und dann nur noch lokale Backups einspiele. Lokal deshalb weil ich während Backups so wenig wie möglich Downtime habe.

PVE ist auf dem SATA Mirror installiert, VMs liegen auf dem NVME Mirror. PVE geht kaputt, muss neu aufgesetzt werden, VMs liegen aber ja weiterhin auf dem NVME Mirror. Müssen diese VMs dann restored werden oder kann man nach PVE Neuinstallation irgendwie diese VMs wieder "reinkriegen", dem PVE bekannt machen?

 

[Supaman]

Geht, aber Du brauchst den Inhalt von /etc/pve

Im Pfad /etc/pve/qemu-server/<vm-ID>.conf liegen die config Files für die VMs, in /etc/pve/lxc/<lxc-ID>.conf die configs für LXCs. Wenn man die config Files manuell rüberkopiert, ist die VM wieder "sichtbar". Setzt aber voraus, das der Storage gemountet ist und auch unter dem gleichen Namen im System ist. Für separaten Daträger sollte man den Schritt vorher machen, und dann auch mit automount. Und wenn man noch EFI Disks hat, sollten die auch greifbar / im gleichen PFad wie vorher sein.

Je nach dem wie alt die PVE Version ist, können ggf. nacharbeiten notwendig sein, wegen neuerer QEMU Version der Neusinstallation.

 

[Shihatsu]

Muss man die VMs aus dem Backup restoren, obwohl die auf dem 2ten Mirror vorhanden sind? Kann man die nach Neuinstallation von PVE nicht irgendwie neu registrieren?

Doch, kann man. Ist aber nervig, weil man nicht nur die VMs an sich haben muss, sondern auch die Einstellungen, und die landen im PVE. PBS löst das.

 

[gea]

Ich hatte kürzlich den Wunsch den ZFS Pool mit VMs umzubenennen. Um die VMs wieder zu nutzen musste ich lediglich den ZFS Pool wieder einbinden und in der VM Konfigurationsdatei /etc/pve/qemu-server/<VMID>.conf den Namen des Pools anpassen.

Es hat damit gereicht für einen "Import" die VM Platten wieder bereitzustellen und in der Konfigurationsdatei die Pfade anzupassen. Im Umkehrschluss muss man für ein "Backup" z.B. per zfs send zusatzlich die VM Konfigurationsdateien mit sichern.

 

[Fischje]

Wie bist du bisher vorgegangen?

Wo hängt sie denn?

Bei der Arc ist wichtig, das man Audiodevice darauf nicht mit durchreicht. Ansonsten haut das mit den PCIe-Resets nicht hin wenn man ne VM runterfährt.

Also jetzt klappt es deutlich besser, aber noch nicht gut.
Es lag zunächst daran, dass ich mit aller Gewalt eine Debian-VM damit bemühen wollte. Auch mit trixie hab ich das aber nicht hinbekommen. Hab jetzt Ubuntu 25.04 laufen und das durchreichen klappt erstmal. Auch erste Transcodings gehen, aber:

Ich wollte einen 4k Film mal ganz runter rechnen auf 720kb/s. Dann laufen imer so 30 Sekunden und dann fängt der Stream von vorne an. Nach 3 Versuchen bricht dann ganz ab.

Wo könnte ich das in einem Log finden, warum das abbricht (Host->UbuntuVM->Jellyfin Docker)?

 

[Kavendish]

@Fischje Mit 4k-Inhalten, und erst recht mit HDR/DV und transcoding hatte ich derzeit auch so meine Probleme und in der LG Store Jellyfin-App auf dem TV stimmt die Uhrzeit sogar nicht. Proxmost Host, Ubuntu-VM und TV selbst haben die korrekte.
Uhrzeit. In die Jellyfin Logs, in die ich bisher geschaut habe, war auch nichts offensichtlich als Fehler geloggten. Bisher wurde es mit den jüngsten Kernel 6.8.12-13-pve.
Habe irgendwie die jüngsten ffmepg-Versionen im Verdacht, weil die auch bei manchen Tasks plötzliche extrem viel RAM belegen, habe meiner Jellyfin-VM aktuell daher 24GB RAM zugewiesen...
Und 50GB Storage sind auch noch frei, was bei einer 3,4GB Quelldatei kein Problem darstellen sollte.