[Sammelthread] Proxmox Stammtisch

[eehm]

Welche Option hast bei Graka ausgewählt (in der VM, die spackt)?

Sie ist komischerweise in einem anderen System.
Aber ich denke das macht jetzt keinen Sinn den Fehler zu suchen, wenn es jetzt doch geht!
Trotzdem vielen lieben Dank!

 

[luckyspiff]

Ist es eigentlich sinnvoll einen ZFS SSD-Pool für die Container-FS/VM Images als Mirror (zwei SSDs) anzulegen? Als "Datengrab" ist noch ein HDD-Pool mit RAIDZ vorhanden, aber die Container-Images habe ich lieber auf einer schnellen SSD mit ZFS. Die Images werden gebackupt, also wäre beim Datenverlust wieder herstellbar, daher ist ein Mirror vielleicht overkill?

Ich habe momentan eine 2TB WD Black SN850X 2TB für die Container-Images als ZPool, baue aber gerade einen zweiten Server in ähnlicher Konfiguration auf und überlege, ob ich da zwei SSDs als Mirror für den SSD Pool nehme (Rechner gibt das her).

Meine Systemplatte ist auf einer kleinen, ersten SSD. Diese ist nicht redundant, da ich bei Updates möglichst keine Probleme haben will.

Hintergrund: Ich ich löse gerade meinen bisherigen Homeserver durch einen Eigenbau auf Basis von Ryzen 5 Pro 5650G mit 64GB ECC Memory, 2x12 TB HDD und zweier SSDs ab. Der neue Server läuft schon, ich baue aber noch einen zweiten, fast identischen und möchte diesen (zusammen mit einem kleinen ThinClient als Quorum-Knoten) als HA-Cluster aufbauen. Die beiden "dicken" sollen nicht ständig beide laufen, aber sich gegenseitig synchronisieren, sie an sind, so dass schon mal ein einfaches Backup da ist.

 

[Luckysh0t]

also wäre beim Datenverlust wieder herstellbar, daher ist ein Mirror vielleicht overkill

Nun, durch den Mirror würdest du halt auch bei diesen Daten durch die Heilungsfähigkeiten im Bedarf profitieren - was so indirekt auch wiederum dem Backup zugutekommt.

Zumal, ob relevant, oder nicht, du so auch eine gesteigerte Leseperformance hast.

Die beiden "dicken" sollen nicht ständig beide laufen, aber sich gegenseitig synchronisieren, sie an sind, so dass schon mal ein einfaches Backup da ist.

Sowas "ähnliches" habe ich mir auch überlegt, allerdings werde ich es wohl eher so machen, dass meine beiden Hosts standalone sind, und ich auf dem anderen regelmäßig/automatisiert das aktuellste PBS Backup wiederherstelle. So habe ich auch den Punkt "Teste dein Backup" immer erledigt. Dazu muss halt die sonstige Konfiguration auf beiden PVE identisch sein, da ich da aber nichts Komplexes habe, was ich anpassen müsste, wäre das relativ schmerzfrei zu realisieren.

Ich hatte zwar ein PVE Cluster (2*hp 800 mini g2, raspi 0), mit einem shared Storage auf meinem Filer, aber mit der obigen Lösung gehe ich etwaige Probleme, die Clusternatur sind komplett aus dem Weg.

 

[gea]

Platten sind immer billiger als (eigene) Arbeit.
Auf Redundanz sollte man nicht verzichten, dann eher das ZFS Layout kostengünstig (Hybrid Pool) optimieren.

 

[luckyspiff]

Sowas "ähnliches" habe ich mir auch überlegt, allerdings werde ich es wohl eher so machen, dass meine beiden Hosts standalone sind, und ich auf dem anderen regelmäßig/automatisiert das aktuellste PBS Backup wiederherstelle.

So ähnlich hatte ich das bei meinem alten Server auch gemacht, allerdings nur für die ZFS-Pools und nicht für die Container. Das schöne am HA-Cluster ist ja, dass die Container automatisch (und auf der selben IP-Adresse) zum anderen Host wandern, wenn der andere aus ist. Man fällt eben von den Daten auf den Stand der letzten Replikation zurück, aber kann man ja einstellen, wie oft. Für den HA-Cluster braucht man eben immer eine ungerade Anzahl Hosts (oder ein Quorum-Device als dritten Knoten).

Das ein Container/VM stabile IP-Adressen hat wenn er auf den anderen Host wechselt, wäre mir wichtig. Ich hab zwar einen lokalen DNS-laufen, aber bekomme es z.B. auf meinem Android-Handy in Firefox nicht hin lokale DNS-Namen in IP-Adrfessen auflösen zu lassen (mit Chrome geht es und alle Lösungsvorschläge, die ich im Netz hierzu gefunden habe waren erfolglos) und habe deshalb ein paar Bookmarks mit IP-Adresse eingetragen.

Auf Redundanz sollte man nicht verzichten, dann eher das ZFS Layout kostengünstig (Hybrid Pool) optimieren.

Ist es (schon im Sinne von Keep it Simple) zwei getrennte Pools aus SSD und HDD anzulegen? Dann liegen z.B. Medien und Dateien im HDD Pool aber Images im SSD-Pool?

Zu Hybrid-Pools muss ich mich erst mal schlau machen, bisher kannte ich SSDs nur als L2ARC und SLOG Devices um einen Pool zu beschleunigen.

 

[gea]

Zu Hybrid-Pools muss ich mich erst mal schlau machen, bisher kannte ich SSDs nur als L2ARC und SLOG Devices um einen Pool zu beschleunigen.

Bei einem Hybrid Pool mit einem special vdev mirror kann man je Dataset einstellen, ob nur dessen Metadaten, kleine Files z.B.bis 128K oder generell alle Dateien auf dem special vdev landen (mit recsize<=small blocksize)

 

[Luckysh0t]

auf den anderen Host wechselt, wäre mir wichtig.

Ich vergebe meine IP Adressen auf der Firewall statisch basierend auf der Mac - wäre mir neu, wenn die sich bei einem Restore ändert..wäre auch ziemlich bescheiden..

 

[Fusseltuch]

Proxmox 9.1 veröffentlicht

• Create LXC containers from OCI images
• Store vTPM states within the qcow2 image format
• Fine-grained control over nested virtualization via a new CPU flag
• Enhanced SDN status reporting
• Datacenter bulk actions
• Based on Debian 13.2 (Trixie), but using a newer Linux kernel 16.7
• QEMU 10.1, LXC 6, and ZFS 2.3.4
• Ceph Squid 19.2
• and much more...

Proxmox Virtual Environment 9.1 available!

We're proud to present the next iteration of our Proxmox Virtual Environment platform. This new version 9.1 is the first point release since our major update and is dedicated to refinement. This release is based on Debian 13.2 "Trixie" but we're using the newer Linux kernel 6.17.2 as new stable...

forum.proxmox.com

 

[gea]

Proxmox 9.1 bringt nebem einem neueren Linux Kernel auch OpenZFS 2.3.4 und damit schnellere Verschlüssellung und zfs rewrite {datei/verzeichnis].
Schnell das Update von 9,0 auf 9.1 gestartet um ein paar Tests zu machen, leider kein Netz nach dem Update. Zwei Stunden mit Gemini verbracht um zu versuchen das zu beheben, Netzwerkkarte blieb down. Selbst nach einem Boot mit dem älteren Kernel aus 9.0 hatte ich kein Netz.

Weitere Recherchen berichteten von häufigen Problemen unter Linux mit meiner Intel 219-V die ich glücklicherweise mit einen Bios/Efi Update beheben konnte. Muss mir dringend anschauen wie ich Bootenvironments (z.B. ZFS Bootmenü) unter Proxmox zum Laufen bringe, um schnell wieder das OS vor dem Update zu haben, so ist es Murks.

ps
so in der Art von https://www.reddit.com/r/selfhosted/comments/1i95wqe/zfsbootmenu_setup_for_proxmox_ve/

 

[asm@s24]

Proxmox 9.1 veröffentlicht

• Fine-grained control over nested virtualization via a new CPU flag

Das funktioniert dann z.B. so:

Getestet mit nested Hyper-V. CPU-Last ist im Taskmanager niedrig, auch im 2. Level. Bei "Host" war ja oft High CPU ein Problem wg. der Mitigation.

 

[Weltherrscher]

Obacht an alle mit nvidia GPU passthrough:
DKMS wirft compile errors, weil keine einzige Version des nvidia-vGPU-Treibers kompatibel mit 6.17 ist...
Lösung ist: auf 6.14 pinnen... -.-

//Edith:
Lächerlich, 73 % Marge, aber kein Geld für anständige Linux-Treiber...

 

[Fusseltuch]

Danke für die Info, das hätte mir auch noch passieren können. Dann mache ich erstmal die anderen ohne vGPU ;-)

 

[Weltherrscher]

Freut mich, dir gehelft zu haben. =)

Anderes Thema, was ich vom AI-Thread gerne hier rüber schaufeln möchte:
Hat bereits jemand ne Arc Pro B(5|6)0 mit SR-IOV unter ProxMox am laufen?

Proxmox 9.0 + Intel B50 SR-IOV -- finally its almost here! Early Adopter's Guide

Hey, that worked. Thank you!

forum.level1techs.com

Wenn das einigermaßen fluppt, würde es mir das ganze Gefrickel mit den Nvidia-Treibern künftig ersparen.
Olle Mainboards (*hust* X10DRUi+ *hust*) ohne ResizableBAR Support scheinen jedoch nen zusätzlichen BIOS-Patch zu benötigen...

 

[gea]

Zu zfs rewrite in Proxmox 9.1

Damit kann man vor allem einen Pool nach Erweitern neu ausbalancieren oder Dateien in einem Hybridpool mit special vdev zwischen hd und nvme verschieben indem man vor dem rewrite die small blocksize entsprechend anpasst. Setzt man die größer recsize landen die Dateien auf hd, ansonst auf nvme.

ps: recsize kann man mit rewrite nicht ändern.
Wer napp-it nutzt kann das da ausprobieren und dabei small blocksize vor und nach rewrite anpassen

 

[Badrig]

Ich habe drei NUCs mit als TB-Cluster und das Upgrade eines Nodes auf PVE9 gestaltet sich als absolute Katastrophe.... Ich weiß gar nicht wo ich anfangen soll und erwäge eine komplette Neuinstallation. 😵
- Boot im Arsch
- Netzwerk im Arsch (auch die normale Weboberfläche)
- Cluster sowieso im Arsch
- Powermanagement im Arsch

Alles ist extrem langsam/laggy, dass auch dauernd Buchstaben bei Tastatureingaben fehlen....

 

[gea]

Proxmox 9.1 bringt einen neuen Linux Kernel der Probleme bereiten kann.
Ging mir vorgestern mit meiner Intel nic auch so. Ich habe erstmal versucht mit dem alten Kernel zu booten.

Bei mir ging es erst wieder nach einem Bios/EFI Firmware Update.

 

[Badrig]

Ich habe nun alles was ASPM, Netzwerk und Thunderbolt betrifft komplett entfernt bzw auf das bare minimum zurückgesetzt und den Node aus dem Cluster entfernt. Nun läuft er immerhin wieder als standalone.
Das werde ich bei den andern beiden Nodes wohl jetzt VOR dem Upgrade alles machen, damit ich nicht in der rescue shell über die hdmi capture card rumwerkeln muss ....

Auf deinen Tipp hin, habe ich nun auch noch Bios geupdatet, nun startet er wieder nicht mehr 🤡

 

[gea]

Die Bios Einstellungen (vt-d, bootreihenfolge, bootmodus efi/mixed/legacy prüfen), das geht manchmal beim update auf default, was auch immer das ist.

 

[Badrig]

Ich erreiche zwar den Host, aber der Bridge-Adapter bzw. das Routing ist komplett hin. Die Gastsysteme sind nicht erreichbar und können auch nicht nach außen pingen.

Gibts eine Reperaturfunktion, die ansonsten die Nutzereinstellungen behält?

Ach das wird mir jetzt zu blöd, ich installiers neu. Hab ja Backups von allem...

 

[MZuki]

Mal eine Frage in die Runde bezüglich Proxmox-Backup-Lösungen für den Heimgebrauch:

Der kleine Proxmox-Server bei mir hat inzwischen doch eine "kritische Schwelle" an gehosteten Services erreicht die man nicht mal eben schnell verlieren möchte und deren Ausfall über nen Tag zumindest mal nervig wäre. Also Zeit zu Überdenken ob das bisher alles so passt.

Aktueller Stand:
Proxmox auf einer einzelnen SSD mit ext4 und dedizierte Backups der einzelnen VMs/Container auf ein seperates NAS per NFS. Das NAS wird wiederum auch wieder gesichert, aber das soll mal nicht Thema sein.

Überlegungen:

Um die Verfügbarkeit zu erhöhen noch ne zweite SSD ins System schieben und ne Neuinstallation auf ein ZFS Mirror anstoßen. Speicher ist momentan noch ausreichend da. Dann kann sich ne SSD auch mal verabschieden ohne das gleich alles steht. Ich denke soweit Nachvollziehbar und wahrscheinlich ohne große Einwände?

Beim Backup bin ich mir noch sehr viel unschlüssiger. Ich sehe folgende Möglichkeiten:
1. Backups weiterhin über NFS direkt auf die NAS. Easy, funktioniert auch heute schon, gibt's halt nicht inkrementell. Weitere Nachteile gegenüber nem Proxmox Backup Server?
2. Nen Proxmox Backup Server auf der Proxmoxmaschine virtualisieren, die NAS in der VM mounten und dort die Backupdaten ablegen. Für ne Wiederherstellung müsste ich dann auf einer neuen Proxmox Installation wieder eine PBS VM Starten, die NAS Einbindung und dann die Wiederherstellung starten? Hab ich das richtig verstanden?
3. Nen PBS direkt auf der NAS (TrueNAS) virtualisieren. Das NAS ist mit nem N150 und 16GB RAM allerdings nicht allzu fett und auch sonst dient die NAS als reiner Storage.
4. Nochmal so nen ThinClient oder ähnliches Anschaffen und PBS bare metal betreiben. Möchte ich eigentlich vermeiden da Neuanschaffung, zusätzlicher Strom, Platz, usw. Kommt nur in Frage wenn es wirklich dicke Vorteile bringt.

Wie würdet ihr in der Umgebung vorgehen?

 

[KurantRubys]

4. Nochmal so nen ThinClient oder ähnliches Anschaffen und PBS bare metal betreiben. Möchte ich eigentlich vermeiden da Neuanschaffung, zusätzlicher Strom, Platz, usw. Kommt nur in Frage wenn es wirklich dicke Vorteile bringt.

Warum den PBS? An der Stelle würd ich eher n Proxmox Cluster aufbauen, das bei Ausfall des einen Hosts übernehmen kann. PBS läuft bei mir als VM und sichert auf Tuxis und mein NAS.

 

[BobbyD]

und wahrscheinlich ohne große Einwände?

RAID erhöht die Komplexität. Welche SSD stirbt denn einfach so weg, wenn sie nicht gerade am Ende ihrer TBW ist. Aber wenn Du Angst vor Bit Rot hast, dann führt kein Weg daran vorbei.

3 . Nen PBS direkt auf der NAS (TrueNAS) virtualisieren. Das NAS ist mit nem N150 und 16GB RAM allerdings nicht allzu fett und auch sonst dient die NAS als reiner Storage.

Klingt für mich am sinnvollsten. Das nervige für mich an PVE und damit vermutlich auch am PBS ist, dass Laufwerke ständig wach gehalten werden. Bei HDDs führt das zu unnötigem Stromverbrauch und ggf. Lärm. Ich sicher daher auch auf eine SSD. Und da es ja mit dem PBS inkrementell ist, ist das auch gut verschmerzbar.

Beitrag automatisch zusammengeführt: Mittwoch um 11:59

An der Stelle würd ich eher n Proxmox Cluster aufbauen

Erhöht wieder die Komplexität. Und die Wahrscheinlichkeit, dass dies zuhause irgendwie nötig wäre, dürfte auch sehr gering sein.

 

[MZuki]

Warum den PBS? An der Stelle würd ich eher n Proxmox Cluster aufbauen, das bei Ausfall des einen Hosts übernehmen kann. PBS läuft bei mir als VM und sichert auf Tuxis und mein NAS.

Das ist natürlich auch noch eine Möglichkeit. Hatte ich so gar nicht dran gedacht. Wenn zusätzliche HW wahrscheinlich sogar am sinnvollsten um Ausfälle zu kompensieren. En Backup hab ich damit aber auch noch nicht und wie gesagt wollte ich zusätzliche HW auch erstmal vermeiden

RAID erhöht die Komplexität. Welche SSD stirbt denn einfach so weg, wenn sie nicht gerade am Ende ihrer TBW ist. Aber wenn Du Angst vor Bit Rot hast, dann führt kein Weg daran vorbei.

En paar Euro für ne 1TB SSD sind zu verschmerzen wenn ich dafür im Zweifel keine panischen Anrufe bekomme weil die eine SSD gerade dann abgeschmiert ist wenn ich gerade nicht da bin um mal schnell Ersatz zu beschaffen und die Backups einzuspielen. Wie gesagt, es sind keine kritischen Services, aber bei so manchem wäre es echt ätzend wenn er mal 2-3 Tage nicht läuft während ich auf neue HW warte und die Zeit finde alles neu aufzusetzen.
Daher wahrscheinlich gut investiertes Geld ohne eben gleich ein Cluster aufzusetzen

Update: Klar, auf der anderen Seite gibt es noch andere HW neben der SSD die abschmieren kann. Dann steh ich auch da. Also ja, alles bissle relativ. Überleg ich mir nochmal.

Klingt für mich am sinnvollsten. Das nervige für mich an PVE und damit vermutlich auch am PBS ist, dass Laufwerke ständig wach gehalten werden. Bei HDDs führt das zu unnötigem Stromverbrauch und ggf. Lärm. Ich sicher daher auf eine SSD. Und da es ja mit dem PBS inkrementell ist, ist das auch gut verschmerzbar.

Die NAS ist eh SSD only und läuft durchgehend. Daher ist das kein Hinderniss.
Dann schau ich mal was die sonstigen Vorteile eines PBS gegenüber der reinen NFS Backuplösung sind

Danke euch.

 

[BobbyD]

Proxmox Datacenter Manager 1.0 (stable)​

Spoiler

We're very excited to present the first stable release of our new Proxmox Datacenter Manager!

Proxmox Datacenter Manager is an open-source, centralized management solution to oversee and manage multiple, independent Proxmox-based environments. It provides an aggregated view of all your connected nodes and clusters and is designed to manage complex and distributed infrastructures, from local installations to globally scaled data centers. With multi-cluster management it enables management like live migrations of virtual guests without any cluster network requirements.

The project is fully developed in the Rust programming language, from the backend API server to the CLI tools to a completely new frontend. The frontend is built on the new widget toolkit that we developed over the last few years. This offers a more modern web user interface experience, not only in terms of appearance and functionality, but also in terms of accessibility, speed, and compatibility. Proxmox Datacenter Manager is licensed under the GNU Affero General Public License v3 (GNU AGPLv3).

A big THANK YOU to our global community for the substantial support during the beta phase! We are particularly grateful for the stress tests performed, the detailed bug reports, and contributions of other kinds - thank you so much, your collaboration is fantastic!

Main Features:

• Based on Debian Trixie 13.2, with latest security updates
• Linux kernel based on version 6.17 with ZFS 2.3.4 included
• Authentication: support for LDAP, Active Directory and OpenID Connect realms for authentication
• Custom views for tailored overviews filtered by remotes, resources, resource type, or tags and dedicated access control
• Support for Proxmox Virtual Environment and Proxmox Backup Server remotes
• Efficient central metric collection
• Powerful search functionality to quickly find resources (filtered by resource type, status, or more).
• Privilege Management for Proxmox Datacenter Manager users from the access control UI
• Centralized system update overview
• Initial Software-Defined Networking integration with EVPN configuration between clusters
• Centralized update overview
• Enterprise-support available for existing customers with active Basic or higher subscriptions for their Proxmox remotes
• Open-source license: GNU AGPLv3

Bin mal gespannt es auszutesten. Betreibe PVE zuhause und auf einem VPS.