[Sammelthread] Proxmox Stammtisch

[Supaman]

@BomberHarry
Ich würde im PBS die Zugriffsrechte auf den Datastore kontrollieren.

Ich richte den PBS immer so ein, das es einen dedizierten BackupUser gibt, mit dem der PVE schreiben und lesen, aber nichts löschen darf. Backups "aufräumen" läuft über Prune und GC, und wenn ich explizit Backups oder alte VMs gelöscht werden müssen, dann logge ich mich auf dem PBS ein und mache das dort.

 

[BomberHarry]

Derzeit habe ich nur den root Benutzer. Den Datastore kann ich ja anlegen auf dem PBS. Auf dem PVE ist der Benutzer root@pam hinterlegt. Sonst hätte ich den Datastore sicherlich nicht anlegen "mappen" können. Das andere wäre erstmal nachträglich, ich möchte das Erstmal grundsätzlich zum Laufen bekommen Mit SMB dasselbe, wobei das schon merklich träger ist bei Anlegen der chunks.

 

[Anarchist]

Habe vor jetzt auch komplett von HyperV auf Proxmox umstellen. Schritt für Schritt weg von Windows. Mit Linux habe ihn ohnehin schon ständig zu tun.
Aktuell muss ich noch Daten migrieren usw.. aber die VMs sind soweit vorbereitet für den finalen Umzug.

Soll dann im Endstand werden:

pve01: NUC12Pro, 64GB RAM, 2TB NVME, 8TB SSD (für die ganzen 24/7 Sachen, low Power)
pve02: der aktuelle Server also 265k, 128GB RAM, diverse SSDs.. (keine Ahnung ob 24/7 oder eher bei Bedarf, ich muss mir echt überlegen wie ich das aufteile)
pve03: eine alte Zbox mit einem i5, 8GB RAM usw.. soll ne reine Proxmox Testbox werden

 

[pwnbert]

Ist das NUC sp viel sparsamer als der 265k, so dass sich das Trennen lohnt?

 

[Anarchist]

Ja auf jeden Fall. Das macht schon noch gut was aus v.a. weil im Server noch ein LSI Controller steckt.
Sichere gerade per Veeam (noch) die Proxmox VMs zurück auf den NUC, alter ist das langsam.. liegt aber scheinbar an Veeam.
Den NUC hatte ich eh noch übrig.. viel zu schade fürs nichts tun.

 

[toscdesign]

Ich hab hier quasi auch 2 Proxmox Maschinen die unabhängig voneinander arbeiten:

• Nr.1.: Intel Celeron J4125 mit 16GB RAM (Topton China Firewall PC Box -> Firewall, DNS Services, Werbefilter uvm. )
• Nr.2.: Intel Celeron N5105 mit 16GB RAM (Odroid H3 -> NAS (SATA Controller an die VM durchgereicht), Apps wie Nextcloud usw.)

Läuft von der Hardware her alles seit Jahren ohne Probleme mit Proxmox.

 

[Anarchist]

So der NUC kopiert die letzten Daten noch. Speed optimal, die 2,5gbit lastet er immer mal wieder aus bei großen Dateien.
Dann ist zumindest der schon mal komplett fertig und kann hoffentlich stabil 24/7 laufen.

Noch was nach einer Installation beachten?
Ich hab das Post Install Script laufen lassen, was das Enterprise Repo disabled und das normale Repo aktiviert, + Dienste für Ceph und HA disabled. Brauche ich ja nicht bei den Single Hosts.
lm-sensors noch installiert für die Temps.

Macht ihr sonst noch was?

Will auf jeden Fall auch den Proxmox Backup Server und das Datacenter gleich mitinstallieren. Glaube das packe ich aber alles auf die alte Zbox.
Da kann man ja im Datacenter von Single Host zu Single Host migrieren wenn ich das richtig sehe? Ist ja schon nice.

 

[toscdesign]

Post Install Script

Hast du einen Link dazu?
Ich mach das immer von Hand 😅

 

[Anarchist]

https://community-scripts.org/scripts/post-pve-install

 

[Sannyboy111985]

Ich setze noch ein paar settings zum Stromsparen

cpupower set -b 15
cpupower frequency-set -d 800000 -u 3000000 -g powersave

Meinen 6th Gen habe ich zusätzlich Undervoltet, mein 10th Gen kann das nicht.

Zusätzlich kommt mein Monitoring drauf, nutze dafür Check-MK, sowie die Performance Metriken an eine InfluxDB schreiben.
Und natürlich den PBS nicht vergessen sowie Mails einrichten

 

[Luckysh0t]

https://community-scripts.org/scripts/post-pve-install

Hm, mit der neuen Seite schlägt mein AV Programm aus - der analytics subdomain part wird mit einer phishing warnung geblockt..irgendwie auch schade, dass tteck nicht mehr erwähnt wird..

 

[Anarchist]

So habe doch etwas umgeplant was den großen Server betrifft.
Signatur jetzt aktuell der Stand.

Desktop: AMD 9800X3D - Asus X870-I - 64GB DDR5 6000 CL30 - 990 Pro 2TB - MSI RTX 5080 16G - LG C2 OLED 42" + Anmite IPS 14" - GX-1000W - Fractal Torrent Nano Solid
KI: Intel 265K - Asus B860-I - 128GB DDR5 5600 CL36 - 950Pro 256GB - QVO 8TB - NV RTX 3090 24G - Sonstige SSDs @ LSI 9271-8i - GX-750W - Fractal Torrent Nano Solid
Proxmox01 (24/7): NUC 12 Pro - Intel Core i7-1260P - 64GB DDR4 3200 CL22 - 970 Evo Plus 2TB - QVO 8TB - QVO 8TB USB - Micron 5100 PRO 960GB USB
Proxmox02 (24/7): Zotac ZBOX CI523 - Core i3-6100U - 16GB DDR3 1600 CL11 - Intel SSD 520 180GB - 14TB WD HC530

Für die 24/7 Sachen läuft jetzt der NUC mit allen VMs etc. + die alte Zbox mit einem Proxmox Backup Server + Proxmox Datacenter Manager.
Für 24/7 reicht das alles locker aus. Überall PVE 9.1.6 jetzt drauf und Backups laufen gerade schon das erste mal auf den PBS mit der 14TB HDD.
Dank meiner großen 8TB SSDs die ich damals noch billig bekommen habe genug Platz für alles was dauerhaft laufen soll und braucht kaum Strom.
Ich verwende überall LVM-Thin. Hatte ZFS mal ne Woche probiert aber oft io wait gehabt. mit LVM-Thin ist die Performance ideal bisher.

grob was drauf läuft.
- Technitium DNS
- Nginx Proxy Manager + Wildcard Zertifikat
- Wireguard VPN (zu einem externen 2€ VPS)
- Docker VM 1 (rund 20 Docker)
- Docker VM 2 (momentan nichts)
- Windows Server VM (diverse Sachen, RDP, usw..)
- Webserver VM (kein Docker)
- VM für zwei Immich Instanzen mit knapp 3mio Bildern

Der große Server soll komplett für KI verwendet werden und nicht dauerhaft laufen. Hab durch die Aufrüstung zur 5080 eine 3090 übrig, die ich eigentlich verkaufen wollte, aber ich werde sie behalten und für KI verwenden. Mit einer 3090 24GB und 128GB RAM sollte einiges gehen.
Soll ne reine KI Maschine werden. muss nur noch überlegen ob da auch erstmal Proxmox drauf kommt oder eher nicht und direkt ein OS.

 

[Anarchist]

So auch den großen Server jetzt erstmal mit Proxmox installiert und eine Windows 11 mit LM Studio zum ausprobieren angelegt.
Durchreichen der 3090 hat auf Anhieb funktioniert und wird sauber erkannt und kann normal verwendet werden.

Schon krass wie einfach das alles geworden ist..

So kann ich mit einer VM einfach mal rumprobieren und kann den Host im Notfall wenn der NUC was hätte auch erstmal alle VMs da drauf laufen lassen.

 

[Anarchist]

So nochmal das ganze Wochenende investiert und gemacht und nochmal alles geändert (es nervt mich selbst, aber jetzt Endstand)

Habe gemerkt, dass der große Server selbst mit der RTX 3090 durchgereicht in eine Debian VM gerade mal 35w am Messgerät anzeigt wenn nichts läuft und die 3090 per nvidia-smi 5w anzeigt weil Idle im Debian. Und ein Setup Ollama + Open WebUI gefällt mir auch besser als ein Windows mit LM Studio oder so.

Und den Proxmox Backup Server wollte ich unbedingt physisch installiert haben, es ist einfach das unkomplizierteste im Stressfall. Die Box soll Backup machen und sonst nichts.

PVE01 (24/7) Intel 265K - Asus B860-I - 128GB DDR5 5600 CL36 - 950Pro 256GB - 970 Evo Plus 2TB - QVO 8TB - QVO 8TB - NV RTX 3090 24G - GX-750W - Fractal Torrent Nano Solid (Prod)
PVE02 (24/7): NUC 12 Pro - Intel Core i7-1260P - 64GB DDR4 3200 CL22 - Intel SSD 760p 128GB - Micron 5100 PRO 960GB (Test + Notfall)
PBS (24/7): Zotac ZBOX CI523 - Core i3-6100U - 16GB DDR3 1600 CL11 - Intel SSD 520 180GB - 14TB WD HC530 USB (Backups)

Alles läuft auf dem PVE01, wie gesagt im Idle waren das ca. 35Watt
PVE02 als Notfall oder Testumgebung, Idle zeigte 8Watt an
PBS physisch die alte Zbox, Idle unter 10Watt, mit der USB HDD wahrscheinlich genau 10Watt oder natürlich leicht drüber wenn er arbeitet.


Das einzige was noch ist, ich aber aktuell per Script lösen konnte: LINK
Wenn die 3090 im Debian einmal mit ollama genutzt wurde, geht sie danach nicht mehr in den kompletten Schlafmodus. Auch wenn alles entladen wurde zeigt nvidia-smi ca. 15Watt an, am Messgerät sind es aber eher 30Watt alleine für die 3090 dann. Meine Lösung ist jetzt aktuell, dass ich per Script prüfen lassen ob die Karte schon ca. 1 Stunde lang in diesem Modus am Stück verweilt hat und falls ja dann reboote mir die Debian VM + Dockers. Das dauert vielleicht 20sek bis wieder alles da ist und die 3090 ist wieder in ihrem 5Watt Stadium. So spare ich strom wenn ich die KI mal länger nicht verwende.
Das ist aber insgesamt kein Proxmox Thema.. ich hab vieles versucht aber ohne Reboot schaffe ich es nicht die Karte in diesen Tiefschlaf zu bekommen, obwohl mir nvidia-smi immer sagt im bin im P8 Modus.

 

[Supaman]

@Anarchist
Sehr schön gemacht !

 

[Anarchist]

Danke
muss sagen es läuft aber auch extrem gut alles. Und der Proxmox Backup Server ist richtig gut gemacht. Auch PVE9 lief sofort überall und ohne Probleme bisher.
Und was mich wirklich wundert sind die Watt Werte out of the box. Die sind gleich oder besser zu Windows. Ohne Optimierung mit dem Performance Governor.
Fürs Homelab kann man das alles nur empfehlen.

 

[Luckysh0t]

die sind gleich oder besser zu Windows

Das habe ich auch festgestellt, betrifft aber zumindest, wenn beide als VM laufen nur z. B. ein Debian ohne GUI etc. Als ich mal ein Ubuntu Desktop als VM gegen eine Win VM getestet habe, lag dann der verbrauch mit 1-4 Watt Differenz im Bereich der Messtoleranz.
Mir ist zwar klar, dass ein Ubuntu Desktop deutlich mehr mit sich herumträgt als eine Debian VM ohne Desktop etc. aber das Ergebnis war schon erstaunlich.

Aber, super Sache das mit der Grafikkarte/KI.

 

[Tundor]

Ich sammle seit Dezember meine ersten Erfahrungen mit Proxmox. Hab ich aktuell auf nem Zimaboard 2 Laufen (16GB Version) mit N150 CPU. Performance mäßig für mich absolut ausreichend, vorallem ist der Idle Verbrauch (mit 2 SATA SSDs, beide 2,5GBit Onboard belegt + zusätzliche PCIE 2,5Gbit Karte) bei ca. 11W. Zuerst hatte ich nur die opnSense virtualisiert, dann kamen noch Adguard + Keycloak als LXC dazu und HomeAssistant als VM jetzt ist das Ding auch schon ziemlich voll, ich glaub mehr geht kaum mehr, hätte wohl doch was größeres nehmen sollen, wie das halt immer so ist im Homelab

Als Backup hab ich nachts alles auf meine Truenas via NFS geschoben (ohne PBS sind das ja leider immer riesige Full-Backups), allerdings kamen relativ schnell die ersten Probleme. Die Sense ist mir nach wenigen Tagen beim Backup eingefroren, über das Management Interface kam ich noch auf die GUI von PVE und konnte die Sense neustarten, hab dann mit Claude etwas Troubleshooting mithilfe der Logs gemacht und scheinbar mag FreeBSD den QEMU freeze nicht beim Backup. Hab ich dann deaktiviert, und mir gleichzeitig ein Script gebastelt das prüft ob die Sense alive ist und wenn nicht nach 3 Minuten das Ding hart killt und neustartet. Hatte etwas Sorge, dass das passiert wenn ich gerade länger weg bin und ich dann keinen Zugriff mehr habe aufs Homelab. Dieser Fehler ist dann erstmal nicht mehr aufgetreten und es war für ein paar Wochen Ruhe, dann plötzlich bin ich morgens aufgewacht und mein Netzwerk war tot. Hatte dann wieder die Sense im Verdacht, aber tatsächlich war die komplette Kiste tot, inkl. PVE Gui nicht mehr erreichbar etc.
Nach nem Neustart wieder Troubleshooting und scheinbar ist die NFS Verbindung irgendwie abgebrochen, das hat wohl wegen der Art wie ich den NFS Share gemountet habe einfach der komplette Kernel hängen bleibt weil er keine Rückmeldung mehr bekommt. Also hab ich den Mount so geändert, dass die Verbindung halt einfach abbricht wenn es nicht klappt, anstatt mir das ganze Ding abzuschießen. Lieber eine Nacht kein Backup als ein totes System.

Das hab ich dann wieder ein paar Tage so laufen gehabt und als ich dann nach 3-4 Tagen wieder ne Fehlermeldung hatte (dieses mal ist nix eingefroren, aber das Backup lief halt mal wieder wegen nem NFS Fehler nicht durch) hatte dann die Faxen Dicke und hab mir unter Truenas als Incus Container PBS installiert. Seitdem läuft das Backup problemlos durch und nichts schmiert mehr ab, ich hoffe dabei bleibt es jetzt auch. Den Rat, dass man am besten PBS nutzen soll hab ich natürlich am Anfang gekonnt ignoriert weil ich es natürlich besser wusste

 

[Anarchist]

Aber, super Sache das mit der Grafikkarte/KI.

Ja absolut. Wollte die 3090 eigentlich verkaufen, aber damit behalt ich sie auf jeden Fall.
Hab sie per nvidia-smi -pl 250 auch auf 250Watt in der Spitze gedrosselt, weil das bei KI kaum tokens/s kostet und sie viel effizienter läuft. Spart immerhin auch 100Watt in der absoluten Spitze.

Vorhin noch festgestellt, dass wenn man zwei oder mehrere Hosts hat und übergreifend VMs mit der gleichen ID, diese in PBS dann gleich angezeigt werden. Hab dann erst die Variante mit den Namespaces probiert aber letztendlich bin ich dann doch zurück zu einfach eindeutigen IDs zwischen beiden Hosts. Ist ja auch kein Thema im Homelab. Macht man ab 100 beim 1. und einfach ab 200 beim 2.

Die alte Zbox ist da schon ziemlich am arbeiten bei gerade mal 1gbit/lan fürs Backup.

 

[Supaman]

Ich installiere auch gerne eine zusätzliche PBS Instanz als VM, reiche eine Disk als RawDevice durch, und mache damit zusätzliche interne Backups von den wichtigsten Sachen. Weil: intern geht immer ...

Weiterhin: den PBS kann man mit einem zweiten PBS Syncen, auch für einen kleineren Zeitraum z.B. nur die ltzten 3 Tage.

Für das einrichten des Prune Tasks: https://pbs.proxmox.com/docs/prune-simulator/

 

[Anarchist]

KI ist einfach ein Traum.

Hab jetzt meine Debian VM mit 3090 auf einen llama.cpp Stack geändert (finde das funktioniert besser und schneller als ollama mit openwebui und ist wesentlich flexibler wenn man sich mit den ganzen Parametern mal auskennt) und habe die KI ein Script schreiben lassen welches mir die Docker Logs auswertet, den Powerstatus von der Nvidia Karte auswertet usw.. und am Ende entscheidet ob es einen Reboot machen kann oder nicht (zwecks Stromsparen und dem "Problem" dass die 3090 nicht mehr in den Sleep Staus übergeht.

Script am Ende mehrere hundert Zeilen mit ausführlichem Logging usw.. zwar mehrfach durch die KI debuggen müssen aber jetzt läuft es. So prüft es jetzt nicht nur dumm auf die Wattzahl etc. sondern auf "ob das Model entladen wurde", oder sich "der llama Prozess im idle befindet" usw.. zusätzlich.

Manuell hätte ich das niemals geschafft.. Einfach nice. Man hat das Gefühl mit KI gibts im Homelab keine Grenzen mehr, nur die eigenen Ideen limitieren und selbst da kann sie Vorschläge machen Und ich hab mit Programmierung sonst nichts am Hut, außer eben kleine shell/batch/powershell Script geschrieben zu haben.

 

[Tundor]

Man hat das Gefühl mit KI gibts im Homelab keine Grenzen mehr, nur die eigenen Ideen limitieren und selbst da kann sie Vorschläge machen

+1 Was ich schon alles mit Claudes Hilfe gelernt habe

 

[besterino]

Mich reizt es auch immer mehr, mich da mal reinzufuchsen. Bräuchte vermutlich mal 3 Wochen Urlaub dafür, so hab ich einfach keine Zeit, mal so richtig am Stück Zeit darin zu versenken.

 

[pwnbert]

Ist Claude free/local/whatever?

 

[Tundor]

Claude ist das Modell von Anthropic. Es gibt nen Free Account der für die allermeisten Dinge völlig ausreicht, du hast dann halt nur Zugriff auf Sonnet. Wenn man Opus braucht und die ganzen Code Features nutzen will in größerem Umfang, braucht man nen Paid Account. Lokal laufen lassen geht nicht, ist ja ein kommerzielles Modell.

 

[Anarchist]

für alle ohne Zeit und Nerven kann man ja auch locker die Online gehosteten Sachen nutzen und wenns sogar "nur" die Google KI ist die quasi bei jeder Suche schon unterstützt. Die programmiert dir auch schon alles was für zuhause ausreicht.

Das ganze lokal zu betreiben gerhört hier ja ein bisschen mit zum Thema, auch dafür haben wir die Proxmox Hosts. Aber wer sich da nicht stressen will muss auch nicht. Geht auch easy.

 

[Tundor]

Ausreichend sind die online gehosteten Modelle sicherlich für fast alle im Homelab, selbst die Free Modelle. In vielen Belangen sind die sicher auch besser als alles was man realistisch selbst hosten kann. Lokal gehostet macht halt Sinn wenn man besonders auf Privacy achten möchte oder muss.
Ist halt die Frage für wie lange noch, irgendwann werden die auch Geld verdienen müssen und dann gibt's das nicht mehr gratis.

 

[Anarchist]

ich sag mal lokal macht Sinn aus Sicht Privacy, wenn man viele eigene PDFs etc. als Wissenspool verwenden möchte, oder es gibt auch gewisse unzensierte Modelle die "freier" antworten als vielleicht die Onlinemodelle. Oder eben alles was mit Automatisierung zu tun hat, wenn man die KI in seinen eigenen Workflow was auch immer der macht einbinden möchte.

So einmalige Geschichten geht locker mit der ganz normalen Google KI. Da hab ich vor paar Tagen z.B. ein Python Script schreiben lassen, was mir über die Immich-Api über die eingebaute intelligente Suche gewisse Bilder entfernt usw.. kann die Software selbst nicht, aber per Script und API eben möglich. Ich selbst von Python natürlich null Ahnung (verstehe zwar grundsätzlich schon was das Script dann macht wenn ich den Code sehe), aber fürs eigene Erstellen von null an hätte ich da keine Lust/Zeit gehabt. Ich glaub ich kann immer alles lernen, aber die Zeit dafür hab ich einfach nicht. So machts halt die KI.

 

[Anarchist]

so sind wieder einige Tage vergangen, die PVE Systeme laufen wie sie sollen. Kein Problem bisher gehabt. Backups laufen, auch die ganzen Jobs ohne Fehler
hab schon mal zwei einzelne Dateien aus einer Linux VM gebraucht aus dem Backup, kein Problem damit.
ansonsten gabs nur innerhalb der VMs ein bisschen was neues.

- gotify/igotify für alle meine Meldungen. Da kann man Proxmox ja auch direkt anbinden über die GUI. Alles was Proxmox da bietet ist dran + viele meiner anderen Anwendungen und Scripts.
- automatisierte goaccess Auswertungen für meinen externen Nginx Proxy Manager
- kleine Spielerei, meine vorgefilterte Zugriffslog pushe ich zur lokalen KI und lasse mir täglich einen html Bericht generieren (lasse mir erklären was die einzelnen Zugriffe bedeutet haben usw.)

teilweise umgesetzt:
- logstack (grafana + loki + grafana alloy)
erledigt ist, dass alle Docker Container (extern und intern) nach loki die Logs pushen. Über das loki docker plugin. Habe also alle Logs aller Container bereits im Grafana.
auch erledigt ist, alle Linux VMs pushen die systemd journal und package logs zu loki, also auch alle systemd logs und apt logs usw.. bereits im Grafana.
einfache Dashboards gebaut mit Abfragen wie alle Warnungen/Error Meldungen für die Docker oder Systemd usw..

offen: eigentlich will ich die externen Nginx Proxy Manager Logs noch im Grafana haben. Da muss ich mich irgendwann mal noch dran machen.

Das reicht mir auch erstmal, die PVE Hosts binde ich da direkt nicht mit an, die will ich gerne unverändert lassen.

 

[Sannyboy111985]

Hast du eine Doku für deinen Logstack mit LOKI?

Habe noch eine uralt php Anwendung lggr laufen der ein syslog Server ist…. Der sollte Mal ausgetauscht werden