[Sammelthread] Proxmox Stammtisch

[myBerg]

Ich hab aber nur den einen Server.

Also... ich hab schon noch nen "Backup-Server" hier (MC12LE0 mit 5650G und 64gb Luxus-ECC), aber den will ich eigetnlich nicht regulär laufen lassen müssen...

Was meinst du mit "regulär"? Dauerhaft? Das ließe sich vermeiden.

Bei mir ist auf meinem alten Xeon-Server der Proxmox Backup Server direkt auf dem Blech installiert.

Für die Zeitsteuerung habe ich einen Smartplug. In meinem Falle ein Fritz!Smart Energy 200. Die schaltet den Backupserver Donnerstag Abend für max 48 h an. Zusätzlich gibt es eine Regel, die den Strom bei unter 10 W abschaltet.

Das Backup läuft dann kurz nach dem Anschalten des Backupservers los. Beim Beenden des Backups kriege ich eine Backupinfo per Mail.

Für den Shutdown des Backupservers habe ich ein Hook-Script /usr/local/bin/vzdump-hook-script auf dem PVE-Host eingerichtet und in die /etc/pve/jobs.cfg eingehängt. Das logged sich per ssh auf dem Backupserver ein und fährt ihn nach dem Backup herunter. Kurze Zeit später schaltet der Smartplug den Strom komplett ab.

Funktioniert tadellos. Gerade gegenüber den quasi nicht vorhandenen Backupmitteln bei esx finde ich das Proxmoxbackup geradezu sensationell. Für knapp 19 TB braucht das Backup typischerweise zwischen 40 Minuten und 4 Stunden.

Wenn man das so betreibt, muss man die Garbage-Collection ab- und an manuell durchführen. Das sollte man dann außerhalb der Schaltzeiten machen.

 

[pwnbert]

Was meinst du mit "regulär"? Dauerhaft? Das ließe sich vermeiden.

Ne, is meine Test und Spielgurke, bin mir noch nicht sicher, was ich damit mach.
Muss mir das noch überlegen... mir ist schon klar, dass man nur für die Zeit des Backup Jobs hochfahren kann. Mir wärs lieber, ich bräuchte den "Backupserver" gar nicht, mal sehn, wie ich mache.

Wichtig sind eh nur die Daten im NAS, der Rest ist Bequemlichkeit.

Funktioniert tadellos.

Elegante / tadellose Lösung.

 

[BomberHarry]

Guten Abend
ich teste gerade Proxmox auf einer alten Maschine aus. Später soll es ein eigener (gebrauchter) Mini-PC a'la i5/R5 als pve1 sein.

Als debian VMs möchte ich nach aktuellen Stand folgenden Ausbau erzielen:
VM1 Pihole oder AdGuard ~1GB RAM + 1 Core
VM2 Nextcloud + Immich ~8GB RAM + 4 Core
VM3 homeassistant ~1GB RAM + 1 Core *kommt später
VM4 Monitoring/checkmk ~1 GB RAM + 1 Core *kommt später
VM7 Firewall pfsense ~3 GB RAM + 2 Core *kommt später
VM6 DATEN/Backup VM ~2 GB RAM + 1 Core

Ergänzung VM6 = Ablage von Kamerastreams und Backups, die ich aber zusätzlich extern Backuppen würde.
Der Host hätte als LocalStorage eine 256 GB SSD, sowie Anfangs 16 GB RAM, kein ECC. Als Weiteren Storage eine 1 TB SSD per ZFS, auf dem die VM Images, Snapshots, Backups landen. Nutzung Privat, kein Rechenzentrum und 1 Benutzer.


Konkret hätte ich mal ein paar Fragen mit der Bitte um Einschätzung
1. "kleine Ausfallsicherheit"
Würde bei pve1 ein RAID1 Setup aus 2x SSD klappen oder sinnvoll sein?

2. ZFS
Bei ZFS kann man so wie es ausschaut jede x-beliebige Festplatten zu einem "Pool" zusammenschustern, plus Parität dazu. Ist das sinnvoll - oder nutzt man dann doch eher ein lvm?

3. Clustern:
Ich möchte neben dem pve1 ein pve2 einbinden. pve2 soll ein RPi 4 oder 5 werden, das nur nebenbei herläuft und keine VMs laufen. Ich möchte die Proxmox-Instanz und seine Config als Gesamtes am Leben halten, wenn mal pve1 defekt sein sollte. Es soll nur als Replizierung der VMs auf der SSD dienen. Lassen sich dadurch auch die Backups mit rüberspiegeln? Mir geht es nicht um Redundanz. Wenn pve1 ausfällt können auch mal die Maschinen so lange aus bleiben, bis ich Hardware-Ersatz beschafft habe. Würde das soweit funktionieren?

4. Firewall / Netzwerk:
Mit dem Thema FW bin ich noch Neuling, da müsste ich mich schon noch mehr einlesen. Aber grob hatte ich daran gedacht, eine pfsense als VM zu betreiben und darüber den ganzen Verkehr zu leiten. Mit einem managed Switch und VLANs müsste das doch gehen oder? Das Zauberwort müsste virtuelle Switch heißen oder? Darüber kann ich dann Netze "virtuell" trennen, sogar eine DMZ oder? Oder ist es besser durch physikalische Trennung durch separate Netzwerkkarten? z.B. NIC1 = Tier1, NIC2 = Tier2, NIC3 = Tier3?
Und wie würde das ganze von der Performance aussehen, wenn so eine FW "virtuell" läuft?

5. Umzug neue Hardware.
Wie läuft das denn später einmal ab, wenn ich pve1 ersetze. Installiere ich Proxmox einfach auf einem "pve3", joine dem Cluster und migriere alle VMS dorthin? pve1 anschließend abschalten. Richtig so? Wird dann pve2 zu pve und pve3 zu pve2?

6. OS
Habt ihr ggf. bessere Alternativen als Debian, die möglicherweise weniger Ressourcen brauchen und noch stabiler/sicherer sind? --> Alpine ist für mich keine Wahl

7. LVM:
Mein lokales LVM von pve1 hat aktuell eine 128GB SSD verbaut. Es sind nur noch 15 GB frei, obwohl auf ihr keine Backups und keine VMs/Container liegen. Wie ist die große Speichernutzung zu erklären?

8. Hardware:
Benötigt der Host eigentlich eine Grafikkarte / iGPU, damit Desktop-Umgebungen laufen, oder kann das unter Linux auch über die CPU emuliert werden? Ich peile nur zu Tests mal eine grafische Oberfläche an. Würdet ihr besondere Hardwareempfehlungen geben, die als 24/7 sehr stromsparend und performant genug sind?

9. Sonstige
Gibt es wichtige Themen, die ich bisher vergessen habe ?

Vielen Dank schonmal für eure Einschätzungen.

 

[pwnbert]

Benötigt der Host eigentlich eine Grafikkarte / iGPU, damit Desktop-Umgebungen laufen, oder kann das unter Linux auch über die CPU emuliert werden? Ich peile nur zu Tests mal eine grafische Oberfläche an. Würdet ihr besondere Hardwareempfehlungen geben, die als 24/7 sehr stromsparend und performant genug sind?

No, das wird Software gerendert idR. Ist halt je nachdem mäßig performant / "clicky"... da gibts paar unterschiedliche Möglichkeiten, das Default mit Spice ist imho nicht so schlecht für so Linux standard Desktops.. darfst halt nur X11 verwenden und dir kein Wayland erwarten.
Gibt zwar noch so Späße wie virtual-GL (wenn der Host irgend eine Grafikeinheit hat, die OpenGL kann), was mitunter erstaunlich gut funktioniert, aber so wirklich gepflegt sind diese Projekte alle nicht, meine ich... oder doch?

Über Spice remote was auf ner VM machen mit einem normalen Desktop (KDE, XFCE...) geht schon. Mitunter schlecht skalierbar, aber das sind ja schon fast Luxusprobleme...

Allerdings, so ganz ohne GPU kann mitunter unangenehm sein bezügl. Bios-Einstellungen und sowas... zumindest so ne AST2500 Grafikeinheit ausm IPMI ist schon nett...
So ganz ohne, richtig headless?
Taugt dafür eigentlich dieser Intel Fernwartungskram?

Bei ZFS kann man so wie es ausschaut jede x-beliebige Festplatten zu einem "Pool" zusammenschustern, plus Parität dazu. Ist das sinnvoll - oder nutzt man dann doch eher ein lvm?

Das ist eher Unraid. Bei ZFS kannst auch "ziemlich beliebig" arbeiten, aber nicht ganz so dirty... ein Minimum an Plan sollte dann doch dahinter sein.
Mit ZFS kannst erstmal Mirror ~~ Raid1 machen, Z1 ~~ Raid5, Z2 ~~ Raid6 und natürlich auch nen Stripe ~ Raid0 und dann noch diversen Sonderkram, der tieferer Einarbeitung in das Thema bedarf, für dich aber imho eher uninteressant sein wird.

Ich möchte die Proxmox-Instanz und seine Config als Gesamtes am Leben halten

Hm, spannender Ansatz.

 

[morph027]

Nur kurz überflogen. Cluster aus 2 Knoten geht nicht, wegen fehlendem Quorum (Thema Split Brain). Ich weiss auch gar nicht wie der Stand um arm64 Repos bei PVE aktuell ist, ich glaube aber das gibts noch gar nicht. Und warum immer für alles VMs? Die Container sind wesentlich flexibler mit weniger (quasi fast gar keinem) Overhead. Und ZFS ist schon eins der stabilsten und gleichzeitig performantesten Systeme, braucht nur etwas RAM dafür (ARC, ....). Ist quasi mdraid/lvm+filesystem in einem.

Guten Morgen !

 

[asm@s24]

Mini-PC a'la i5/R5

Ich hab ein Minisforum N5 mit R7. Klar, ist ein NAS und läuft auch als solches, aber eben mit PVE. Und das rockt.

Als debian VMs möchte ich nach aktuellen Stand folgenden Ausbau erzielen

Ich mach so was alles mit LXC, die sind wahnsinng schlank. Bei PVE-Upgrades muß man immer etwas "langsamer" sein und die einschlägigen Foren beobachten, insbesondere wenn containerd dran ist. Aber mit VMs ist ja auch nicht garantiert, daß es keine Probleme gibt, wenn z.B. der Hypervisor 'n Update bekommt.

1. "kleine Ausfallsicherheit"

Das ist m.E. immer ok.

2. ZFS

Das nutz ich hier wenn immer es geht. Sogar für eine einzelne HD in einem Host. Allerdings, die (vorerst) 16 GB RAM bei Dir, das ist dann etwas arg dünn.

3. Clustern

Cluster lassen sich in PVE nur sehr umständlich wieder auflösen. Zudem schreibt der Dienst so exzessiv auf die Boot-Disks, daß der Wear-Level bei Consumer-SSD sichtbar schnell abnimmt. Also ich hab hier zwei Hosts ungeclustert. Verschieben von VMs geht dann halt nur cold mit Backup-Restore. Mir langt das, kommt selten vor.

4. Firewall / Netzwerk

Bei 'ner virtuellen FW stellt sich m.E. sofort die Frage nach der Ausfallsicherheit.

5. Umzug neue Hardware

Wie gesagt... Cluster extra nur dafür? Ist da m.E. umständlich und Backup-Restore sehr einfach.

6. OS

PVE ist sowieso Debian, meine LXC auch.

8. Hardware

Ich hab da keine Lx-VMs mit GUI. "Nur" Windows 11/2K25 und das geht super mit ordinärem RDP.

pve2 soll ein RPi 4 oder 5 werden

RasPi ist ARM und dafür gibt's kein PVE.
Nur irgendwelche älteren Versionen von irgendwem angepaßt. Ich laß von so was die Finger.

 

[pwnbert]

Das nutz ich hier wenn immer es geht. Sogar für eine einzelne HD in einem Host. Allerdings, die (vorerst) 16 GB RAM bei Dir, das ist dann etwas arg dünn.

Haja, das RAM/ARC Thema wird imho übertrieben. Gerade in der Anwendung und als Einzeluser... naja.
Diese ZFS Guidelines sind ja eher ausm Datacenter mit einem ganz anderen Zugriffsverhalten und wsl. meist aus der HDD Ära.
Ich tät mir da nix antun, einfach machen. Aktuell verwendet Proxmox imho 10% für den ARC, wäre halt bei 16gb so 1,6gb, imho kann man das schon machen... die Anforderungen sind ja überschaubar.

 

[morph027]

Den ARC kann man ja auch anpassen. Seh da in meinem HomeSetup auch kein Problem, mein alter Microsver G8 mit 16GB RAM läuft auch immer noch hervorragend beim Kollegen mit x Containern. LXC statt KVM spart halt auch gut RAM. Das KSM für QEMU kann greifen, muss aber nicht.

 

[BobbyD]

Ich stell den ARC-Cache bei der Installation immer auf die geringstmögliche Größe, läuft.

Vielen Dank schonmal für eure Einschätzungen.

Du überhebst dich, viel zu viel Neues auf einmal. Finde erst mal raus, was Du wirklich willst und dann in kleinen Schritten vorwärts gehen.

 

[pwnbert]

Cluster lassen sich in PVE nur sehr umständlich wieder auflösen. Zudem schreibt der Dienst so exzessiv auf die Boot-Disks, daß der Wear-Level bei Consumer-SSD sichtbar schnell abnimmt. Also ich hab hier zwei Hosts ungeclustert. Verschieben von VMs geht dann halt nur cold mit Backup-Restore. Mir langt das, kommt selten vor.

Darauf wollte ich auch noch eingehen, das ist wsl. das total wirksame Argument gegen sowas.

Was allerdings mit dem Pi ginge wäre ein SMB/NFS Target für den PBS (Prox Backup Server) zu erstellen, von dem man im Fall des Falles restoren könnte... oder? Vielleicht die bessere Wahl? Dort muss dann auch kein Proxmox laufen sondern nur irgend ein ARM Linux, welches nen Share macht?
Weiteres dazu findest sich in diesem Thread in meinen Fragen (bzw. den Antworten darauf) eine Seite zuvor.

[Sammelthread] - Proxmox Stammtisch

Das halt ich ja kaum für möglich. Das ist immer noch wenig. Mein altes NAS brauchte so um 70W, das neue jetzt 90-100. Da läuft allerdings nun auch viel mehr drauf, 2 bis 3 VMs, 8 LXC, 11 Docker-C ... :geek: Und der SuperMicro nimmt 150. :devilish: 1770976658 Nein. Verwendet werden die...

www.hardwareluxx.de

Dürfte eigentlich ganz sparsam möglich sein?

[Guide] - Ultra Low Power SSD NAS | 1G 0,85W Idle | 2.5G 1,00W Idle

Man nehme: - Single Board Computer mit Rockchip RK3588s SoC und M.2 Slot. Dieser SoC ist im Samsung 8nm Low Power Prozess gefertigt und hat 4 kleine und 4 große Kerne. Durch den Herstellungsprozess und die kleinen Kerne hat der SoC eine sehr niedrige Leistungsaufnahme im Idle. - MicroSD-Karte...

www.hardwareluxx.de

 

[BobbyD]

Verschieben von VMs geht dann halt nur cold mit Backup-Restore.

Oder mit dem PDM. Da ich nur LXC nutze, kann ich gerade nicht sagen, was da die Optionen sind.

 

[Supaman]

Was allerdings mit dem Pi ginge wäre ein SMB/NFS Target für den PBS (Prox Backup Server) zu erstellen, von dem man im Fall des Falles restoren könnte... oder? Vielleicht die bessere Wahl? Dort muss dann auch kein Proxmox laufen sondern nur irgend ein ARM Linux, welches nen Share macht?

Korrekt ermittelt. Die vorgehensweise wäre wie folgt: *wieauchimmer* ein SMB/NFS Share anlegen und dieses in PVE unter Storage eintragen. Dann mindestens gelegentlich mal ein Backup nur von der PBS OS Platte machen. Wenn sich z.B. der PVE zerlegt oder neu installiert werden muss: PVE neu installieren, Share eitnragen, PBS rücksichern, VMs rücksichern, fertig.

Und wie schon erwähnt: <falls> Backup Encryption verwendet wird, muss man den Key haben. Wichtig: der Key ist die LANGE Zeile, nicht die paar Zahlen aus der Vorschau. Kann man auch aus der PVE Konfig Datei extrahieren.

 

[pwnbert]

*wieauchimmer* ein SMB/NFS Share anlegen

Hmh, wie schlecht sind eigentlich diese USB-Netzlaufwerk Funktionen, die einige Router haben? Taugt sowas unter Umständen für diesen Zweck?

Mein letzter Versuch mit sowas ist schon lange her (und der Asus Wlan Router ist jetzt auch bald 10 Jahre alt), da war ich eher im kb/s Bereich (war aber auch ein ordinärer USB Stick), sofern sich das Ding nicht aufgehangen hat.

Nachtrag:
Ich werde diese Option mal prüfen.
Nachdem mein DSL-LTE-Hybrid Modem/Router-Consumer-Alptraum ohnehin so proprietärer Kack ist, den ich leider nicht druch was ordentliches ersetzen kann, offenbar nen USB Port hat, den man fürn SMB Share verwenden kann, werd ich der Sache mal nachgehen die Tage.
Wäre zumindest ohne wirklich Mehrkosten bzw. Mehraufwand machbar, irgend ein tauglicher Flash Speicher ist sicher auffindbar.

 

[Supaman]

@pwnbert
Wie schonmal erwähnt, das Backup des PBS muss nicht zwingend tagesaktuell sein, es ist ausreichend, wenn der Datastore konfiguriert ist. Alles andere betrifft nur noch so Sachen wie Prune, GC, Sync etc.

Bedeutet unter dem Strich, das Du auch eine temporäre SMB Freigabe z.B. auf einem Windows System anlegen kannst, das Backup des PBS ohne Datastore belegt < 5GB. Kannst Du auch anschliessend auf USB Stick oder so kopieren, und anschliessend zusammen mit dem temporären Sharre wieder löschen.

 

[BomberHarry]

Danke schonmal für eure Antworten

Ich hätte nochmal konkret ein paar Nachfragen:

1. Ist eine normale Consumer SSD mit ZFS "Schreibsicher" auf denen alle VMs/Snapshots/manuelle Backups liegen?

2. Ich würde PBS als zweiten Host einsetzen. Das kann eine "ältere Möhre" mit einer WD Red oder einer SSD sein oder. pve1 würde per Script den PBS "aufwecken", warten bis er pingbar ist und dann die Backup Scripte starten und am Ende per ssh (key) den PBS herunterfahren. Laut ChatGPT soll das kein Problem sein und es werden sogar Beispiele geliefert ?

3. Clustern also doch keine gute Idee wegen der hohen Last. Kann man diese LAst irgendwie runterkriegen? Oder ist das bei einer modernen, neuen nicht-QLC SSD eigentlich kein Problem? Ist Ceph immer Bestandteil vom Clustern oder optional einschaltbar? Auch das soll erst ab 10GBit sinnvoll sein, korrekt?

3a. Auch wenn ich backups von den VMS habe, suche ich nach einem Weg meine Proxmox-Konfig zu "sichern". Also welche virtuelle Netzwerke, Einstellungen, etc ich konfiguriert habe. Oder mache ich mir hier wirklich zu viele Gedanken im Falle eines Host-Wechsels durch Defekt? Das Einspielen von Backups der VMs ist ja kein Problem, aber alle anderen Parameter neu einrichten/konfigurieren?

 

[Weltherrscher]

1: Dazu ein Beispiel aus der Praxis:

Meine WD Red 1TB M.2 nach ca. 3 Jahren (die hält alle dauerhaft aktiven und mission critical VMs).
Bislang keine Fehler.

Dazu die WD Blue (auch 1 TB M.2, aber nur die Windoofs und Spiel-VMs, welche nicht dauerhaft online sind):

Auch hier keine Ausfälle zu erwarten.
*auf Holz klopf*

3a:
/etc/pve sichern.
Damit erschlägst du schonmal 90 % der Konfig.
Wenn du den ganzen /etc sicherst hast du so ziemlich alles.

//Edith:
Zum Spaß noch eine der >4 Jahre alten WD Red SATA-SSDs, welche ich durchgereicht als ZFS Mirror in der TrueNAS VM betreibe, darauf liegen die Daten meiner Wolke (ca. 360 GB) und Gitlab:

 

[Funne]

Hallo Boardies,

ich habe ein kleines (für mich großes Problem) was ich nicht lösen kann.
Es geht um die Installation von Nextcloud AIO in einem LXC mit Docker in Verbindung
mit NGINX Proxy Manager.



Was habe ich?

1. für die Nextcloud habe ich eine Unterdomain registriert und den A Record auf meine
auf meine Öffentliche feste IP gesetzt.

2. Nginx Proxy Manager läuft in einem weiteren LXC



Wenn ich nun die Nextcloud AIO installieren will, sagt die Routine immer das der Proxy falsch
konfiguriert ist. (obwohl ich das nach der Beschreibung gemacht habe – also IP des Containers:11000)

Zum Spaß habe ich die Nextcloud mal ohne Proxy installiert (Port 80 und 443 direkt in der Fritzbox
für den Container freigegeben) und es läuft.
Da ich allerdings mehrere Dienste laufen habe, bringt mir das so nichts.
Falls jemand ein ähnliches Setup hat und mir helfen kann, wäre ich sehr dankbar.



Greetz Funne

 

[Supaman]

Was hat das mit Proxmox zu tun?

Gar nichts. Das ist ein Problem mit Port Forwarding, Split DNS, oder der Nginx config.

 

[BobbyD]

Es geht um die Installation von Nextcloud AIO in einem LXC mit Docker

Nach dieser Anleitung vorgehen und FUSE im LXC aktivieren und SKIP_DOMAIN_VALIDATION auf true setzen.

 

[Funne]

Was hat das mit Proxmox zu tun?

Gar nichts. Das ist ein Problem mit Port Forwarding, Split DNS, oder der Nginx config.

Danke für Deine freundliche Art mir dieses zu erläutern!

 

[HerrSchmitz]

Frage an die Proxmox Stromspar Füchse.
Eine frische Debian 13.3 Installation läuft bei mir dank powertop --auto-tune Problemlos im C9 Modus (PkG HW). Die CPU geht auf C10. Unter Proxmox hänge ich jedoch, trotz powertop, bei C3 fest. Die CPU verbraucht im Idle dadurch doppelt so viel Strom und "spicked" auch ab und zu auf 17-20 Watt hoch (Ohne irgendeine VM).

Ich hatte schon Powersave Governor gesetzt. Sowie:
# cat /sys/module/pcie_aspm/parameters/policy
# default performance [powersave] powersupersave

Hat jemand eine Ahnung woran es liegen könnte bzw. wo ansatzwerte wären?