[Sammelthread] Proxmox Stammtisch

[eehm]

Welche Option hast bei Graka ausgewählt (in der VM, die spackt)?

Sie ist komischerweise in einem anderen System.
Aber ich denke das macht jetzt keinen Sinn den Fehler zu suchen, wenn es jetzt doch geht!
Trotzdem vielen lieben Dank!

 

[luckyspiff]

Ist es eigentlich sinnvoll einen ZFS SSD-Pool für die Container-FS/VM Images als Mirror (zwei SSDs) anzulegen? Als "Datengrab" ist noch ein HDD-Pool mit RAIDZ vorhanden, aber die Container-Images habe ich lieber auf einer schnellen SSD mit ZFS. Die Images werden gebackupt, also wäre beim Datenverlust wieder herstellbar, daher ist ein Mirror vielleicht overkill?

Ich habe momentan eine 2TB WD Black SN850X 2TB für die Container-Images als ZPool, baue aber gerade einen zweiten Server in ähnlicher Konfiguration auf und überlege, ob ich da zwei SSDs als Mirror für den SSD Pool nehme (Rechner gibt das her).

Meine Systemplatte ist auf einer kleinen, ersten SSD. Diese ist nicht redundant, da ich bei Updates möglichst keine Probleme haben will.

Hintergrund: Ich ich löse gerade meinen bisherigen Homeserver durch einen Eigenbau auf Basis von Ryzen 5 Pro 5650G mit 64GB ECC Memory, 2x12 TB HDD und zweier SSDs ab. Der neue Server läuft schon, ich baue aber noch einen zweiten, fast identischen und möchte diesen (zusammen mit einem kleinen ThinClient als Quorum-Knoten) als HA-Cluster aufbauen. Die beiden "dicken" sollen nicht ständig beide laufen, aber sich gegenseitig synchronisieren, sie an sind, so dass schon mal ein einfaches Backup da ist.

 

[Luckysh0t]

also wäre beim Datenverlust wieder herstellbar, daher ist ein Mirror vielleicht overkill

Nun, durch den Mirror würdest du halt auch bei diesen Daten durch die Heilungsfähigkeiten im Bedarf profitieren - was so indirekt auch wiederum dem Backup zugutekommt.

Zumal, ob relevant, oder nicht, du so auch eine gesteigerte Leseperformance hast.

Die beiden "dicken" sollen nicht ständig beide laufen, aber sich gegenseitig synchronisieren, sie an sind, so dass schon mal ein einfaches Backup da ist.

Sowas "ähnliches" habe ich mir auch überlegt, allerdings werde ich es wohl eher so machen, dass meine beiden Hosts standalone sind, und ich auf dem anderen regelmäßig/automatisiert das aktuellste PBS Backup wiederherstelle. So habe ich auch den Punkt "Teste dein Backup" immer erledigt. Dazu muss halt die sonstige Konfiguration auf beiden PVE identisch sein, da ich da aber nichts Komplexes habe, was ich anpassen müsste, wäre das relativ schmerzfrei zu realisieren.

Ich hatte zwar ein PVE Cluster (2*hp 800 mini g2, raspi 0), mit einem shared Storage auf meinem Filer, aber mit der obigen Lösung gehe ich etwaige Probleme, die Clusternatur sind komplett aus dem Weg.

 

[gea]

Platten sind immer billiger als (eigene) Arbeit.
Auf Redundanz sollte man nicht verzichten, dann eher das ZFS Layout kostengünstig (Hybrid Pool) optimieren.

 

[luckyspiff]

Sowas "ähnliches" habe ich mir auch überlegt, allerdings werde ich es wohl eher so machen, dass meine beiden Hosts standalone sind, und ich auf dem anderen regelmäßig/automatisiert das aktuellste PBS Backup wiederherstelle.

So ähnlich hatte ich das bei meinem alten Server auch gemacht, allerdings nur für die ZFS-Pools und nicht für die Container. Das schöne am HA-Cluster ist ja, dass die Container automatisch (und auf der selben IP-Adresse) zum anderen Host wandern, wenn der andere aus ist. Man fällt eben von den Daten auf den Stand der letzten Replikation zurück, aber kann man ja einstellen, wie oft. Für den HA-Cluster braucht man eben immer eine ungerade Anzahl Hosts (oder ein Quorum-Device als dritten Knoten).

Das ein Container/VM stabile IP-Adressen hat wenn er auf den anderen Host wechselt, wäre mir wichtig. Ich hab zwar einen lokalen DNS-laufen, aber bekomme es z.B. auf meinem Android-Handy in Firefox nicht hin lokale DNS-Namen in IP-Adrfessen auflösen zu lassen (mit Chrome geht es und alle Lösungsvorschläge, die ich im Netz hierzu gefunden habe waren erfolglos) und habe deshalb ein paar Bookmarks mit IP-Adresse eingetragen.

Auf Redundanz sollte man nicht verzichten, dann eher das ZFS Layout kostengünstig (Hybrid Pool) optimieren.

Ist es (schon im Sinne von Keep it Simple) zwei getrennte Pools aus SSD und HDD anzulegen? Dann liegen z.B. Medien und Dateien im HDD Pool aber Images im SSD-Pool?

Zu Hybrid-Pools muss ich mich erst mal schlau machen, bisher kannte ich SSDs nur als L2ARC und SLOG Devices um einen Pool zu beschleunigen.

 

[gea]

Zu Hybrid-Pools muss ich mich erst mal schlau machen, bisher kannte ich SSDs nur als L2ARC und SLOG Devices um einen Pool zu beschleunigen.

Bei einem Hybrid Pool mit einem special vdev mirror kann man je Dataset einstellen, ob nur dessen Metadaten, kleine Files z.B.bis 128K oder generell alle Dateien auf dem special vdev landen (mit recsize<=small blocksize)

 

[Luckysh0t]

auf den anderen Host wechselt, wäre mir wichtig.

Ich vergebe meine IP Adressen auf der Firewall statisch basierend auf der Mac - wäre mir neu, wenn die sich bei einem Restore ändert..wäre auch ziemlich bescheiden..

 

[Fusseltuch]

Proxmox 9.1 veröffentlicht

• Create LXC containers from OCI images
• Store vTPM states within the qcow2 image format
• Fine-grained control over nested virtualization via a new CPU flag
• Enhanced SDN status reporting
• Datacenter bulk actions
• Based on Debian 13.2 (Trixie), but using a newer Linux kernel 16.7
• QEMU 10.1, LXC 6, and ZFS 2.3.4
• Ceph Squid 19.2
• and much more...

Proxmox Virtual Environment 9.1 available!

We're proud to present the next iteration of our Proxmox Virtual Environment platform. This new version 9.1 is the first point release since our major update and is dedicated to refinement. This release is based on Debian 13.2 "Trixie" but we're using the newer Linux kernel 6.17.2 as new stable...

forum.proxmox.com

 

[gea]

Proxmox 9.1 bringt nebem einem neueren Linux Kernel auch OpenZFS 2.3.4 und damit schnellere Verschlüssellung und zfs rewrite {datei/verzeichnis].
Schnell das Update von 9,0 auf 9.1 gestartet um ein paar Tests zu machen, leider kein Netz nach dem Update. Zwei Stunden mit Gemini verbracht um zu versuchen das zu beheben, Netzwerkkarte blieb down. Selbst nach einem Boot mit dem älteren Kernel aus 9.0 hatte ich kein Netz.

Weitere Recherchen berichteten von häufigen Problemen unter Linux mit meiner Intel 219-V die ich glücklicherweise mit einen Bios/Efi Update beheben konnte. Muss mir dringend anschauen wie ich Bootenvironments (z.B. ZFS Bootmenü) unter Proxmox zum Laufen bringe, um schnell wieder das OS vor dem Update zu haben, so ist es Murks.

ps
so in der Art von https://www.reddit.com/r/selfhosted/comments/1i95wqe/zfsbootmenu_setup_for_proxmox_ve/

 

[asm@s24]

Proxmox 9.1 veröffentlicht

• Fine-grained control over nested virtualization via a new CPU flag

Das funktioniert dann z.B. so:

Getestet mit nested Hyper-V. CPU-Last ist im Taskmanager niedrig, auch im 2. Level. Bei "Host" war ja oft High CPU ein Problem wg. der Mitigation.

 

[Weltherrscher]

Obacht an alle mit nvidia GPU passthrough:
DKMS wirft compile errors, weil keine einzige Version des nvidia-vGPU-Treibers kompatibel mit 6.17 ist...
Lösung ist: auf 6.14 pinnen... -.-

//Edith:
Lächerlich, 73 % Marge, aber kein Geld für anständige Linux-Treiber...

 

[Fusseltuch]

Danke für die Info, das hätte mir auch noch passieren können. Dann mache ich erstmal die anderen ohne vGPU ;-)

 

[Weltherrscher]

Freut mich, dir gehelft zu haben. =)

Anderes Thema, was ich vom AI-Thread gerne hier rüber schaufeln möchte:
Hat bereits jemand ne Arc Pro B(5|6)0 mit SR-IOV unter ProxMox am laufen?

Proxmox 9.0 + Intel B50 SR-IOV -- finally its almost here! Early Adopter's Guide

Hey, that worked. Thank you!

forum.level1techs.com

Wenn das einigermaßen fluppt, würde es mir das ganze Gefrickel mit den Nvidia-Treibern künftig ersparen.
Olle Mainboards (*hust* X10DRUi+ *hust*) ohne ResizableBAR Support scheinen jedoch nen zusätzlichen BIOS-Patch zu benötigen...

 

[gea]

Zu zfs rewrite in Proxmox 9.1

Damit kann man vor allem einen Pool nach Erweitern neu ausbalancieren oder Dateien in einem Hybridpool mit special vdev zwischen hd und nvme verschieben indem man vor dem rewrite die small blocksize entsprechend anpasst. Setzt man die größer recsize landen die Dateien auf hd, ansonst auf nvme.

ps: recsize kann man mit rewrite nicht ändern.
Wer napp-it nutzt kann das da ausprobieren und dabei small blocksize vor und nach rewrite anpassen

 

[Badrig]

Ich habe drei NUCs mit als TB-Cluster und das Upgrade eines Nodes auf PVE9 gestaltet sich als absolute Katastrophe.... Ich weiß gar nicht wo ich anfangen soll und erwäge eine komplette Neuinstallation. 😵
- Boot im Arsch
- Netzwerk im Arsch (auch die normale Weboberfläche)
- Cluster sowieso im Arsch
- Powermanagement im Arsch

Alles ist extrem langsam/laggy, dass auch dauernd Buchstaben bei Tastatureingaben fehlen....

 

[gea]

Proxmox 9.1 bringt einen neuen Linux Kernel der Probleme bereiten kann.
Ging mir vorgestern mit meiner Intel nic auch so. Ich habe erstmal versucht mit dem alten Kernel zu booten.

Bei mir ging es erst wieder nach einem Bios/EFI Firmware Update.

 

[Badrig]

Ich habe nun alles was ASPM, Netzwerk und Thunderbolt betrifft komplett entfernt bzw auf das bare minimum zurückgesetzt und den Node aus dem Cluster entfernt. Nun läuft er immerhin wieder als standalone.
Das werde ich bei den andern beiden Nodes wohl jetzt VOR dem Upgrade alles machen, damit ich nicht in der rescue shell über die hdmi capture card rumwerkeln muss ....

Auf deinen Tipp hin, habe ich nun auch noch Bios geupdatet, nun startet er wieder nicht mehr 🤡

 

[gea]

Die Bios Einstellungen (vt-d, bootreihenfolge, bootmodus efi/mixed/legacy prüfen), das geht manchmal beim update auf default, was auch immer das ist.

 

[Badrig]

Ich erreiche zwar den Host, aber der Bridge-Adapter bzw. das Routing ist komplett hin. Die Gastsysteme sind nicht erreichbar und können auch nicht nach außen pingen.

Gibts eine Reperaturfunktion, die ansonsten die Nutzereinstellungen behält?

Ach das wird mir jetzt zu blöd, ich installiers neu. Hab ja Backups von allem...