[Sammelthread] Proxmox Stammtisch

[Luckysh0t]

Privat wie auch beruflich checkmk, wenn auch beruflich keine PVE, sondern eine VMWare Umgebung.

 

[Asanu]

Moin, alles kannst du damit nicht abdecken aber Beszel ist ein guter Anfang

Beszel | Simple, lightweight server monitoring

Lightweight server monitoring with historical data, Docker stats, and alerts.

beszel.dev

 

[Shihatsu]

sources.list ist ok?
dann "apt dist-upgrade" drüber jucken.

Ansonsten, für vorsichtige, kannst auch ein "apt install <liste der zurückgehaltenen pakete>" machen, das ist die minimalinvasive Methode.

Nööö, sources list nicht okay. Mittlerweile ist alles ziemlich zerfummelt, da ich verschiedenste Dinge auspürobiert habe. Werde glaube ich neuinstallieren, hilft mir nur nicht beim großen... doof. Sehr unbefriedigend...

 

[FieserOstfriese]

Uptime Kuma & Beszel

 

[Berprinzess]

Was nutzt ihr eigentlich zum Monitoring euer Proxmoxumgebung, der Gäste sowie andere externe HW-Komponenten um die verfügbarkeit von Services zu überwachen und über volle Festplatten/Mountpoints informiert zu werden?
Ich habe derzeit eine Icinga2 Instanz im Einsatz, die ich gerne druch was einfacherers Ablösen würde. Zusätzlich erfasse ich Performancedaten über Prometheus mit Anzeige im Grafana.
Anforderung wären Benachrichtigungen über voll werdene Disks und bei Ausfall von Services über Mail.

Ich habe das mir über Homarr zusammengebaut (offizielle Doku über Homarr). Über Tablet/Smarphone reicht mir die native Proxmox App. Ist alles nur "Homelab" und mehr als eine E-Mail wenn was ausfällt reicht mir. Per VPN notfalls auf den Proxmox und Service neustarten oder schauen was los ist.

Beitrag automatisch zusammengeführt: 05.10.2025

Moin, alles kannst du damit nicht abdecken aber Beszel ist ein guter Anfang

Beszel | Simple, lightweight server monitoring

Lightweight server monitoring with historical data, Docker stats, and alerts.

beszel.dev

Cool. das muss ich auch ausprobieren.

Beitrag automatisch zusammengeführt: 05.10.2025

oder noch schnell PiHole Daten auf die Oberfläche. Docker und etc. gehen auch. Ist halt schön verspielt, also perfekt für mich Spielkind

 

[staging]

Hallöchen,

ich steige gerade wild neu ein in die Welt der Homeserver.

Habe gebraucht einen Elitedesk 800 G4 mit (noch) 1x 8 GB RAM und 256GB NVME im Schrank stehen.

Habe Proxmox mittlerweile gut zum laufen gebracht.

Dank des Helper-Scripts mittlerweile ein PiHole und eine Debian Installation als Backup-Maschine für SQL-Dumps sowie der all-time-klassiker HomeAssistant (wobei ich es bisher noch nicht nutze).

Ich stelle mir nun die blöde Frage, was kann ich noch mehr oder weniger Sinnvolles mit dem Elitedesk anstellen.
Was waren so zu beginn eure Do-s und vorallem Dont's?

Freu mich zu hören, Benny!

 

[Luckysh0t]

Ich habe das mir über Homarr zusammengebaut

Nett, man kann auch seinen HA anbinden, na das kommt mal auf die Liste ^^

 

[Berprinzess]

....

Ich stelle mir nun die blöde Frage, was kann ich noch mehr oder weniger Sinnvolles mit dem Elitedesk anstellen.
Was waren so zu beginn eure Do-s und vorallem Dont's?

Freu mich zu hören, Benny!

Hi Benny, ich kann Dir zumindest sagen was mir geholfen hatte. Nimm ein Server-OS an sich um anzufangen und die wichtigsten Befehle und Hürden zu kennen. Lass die Helper-Scripts, da lernst Du nicht viel. Die kann Du verwenden wenn Du weißt was Du ungefähr machst oder nachzulesen wie es umgesetzt wurde. Installiere Dir einen Samba Server (den braucht man eigentlich immer mal), verstehe die wichtigsten Befehle und gehe dann ein bestimmtes Projekt an. Nur so verstehst Du auch im Desasterfall was Du machen musst. Man lernt auch schnell das man mit Docker und Docker-Compose manchmal schneller einen Dienst hochfahren kann als man ein Script gefunden hat Zudem ist deine Hardware zum rumspielen perfekt und das ein oder andere Project ausreichend. Proxmox hin oder her.....denk später an Backups, Backups und nochmal Backups ;-). Viel Spaß beim Basteln.

PS: Meine Dienste siehst Du in dem Bild von meinem Homarr Dienst.

 

[asm@s24]

Was waren so zu Beginn eure Do-s

Das weiß ich nicht mehr... 🫨 Aber was ich jetzt immer mache (PVE läuft bei mir auf NAS-Hardware):
- Webmin
- NFS Exports
- Samba
- Ggf. Apache2
- Docker im LXc (soll man angeblich nicht, aber bisher tut's hier und es macht Backups grandios einfach)
- Portainer BE
- VMs alle mit qcow2 (zvol hatte bei mir in Tests immer schlechtere Performance)

- ZFS RAIDZ1 mit recordsize 1M und special_small_blocks 256K; sync disabled
- Special vDev mit SSDs RAID1
- rpool/var-lib-vz bekommt special_small_blocks 1M
>> Damit läuft das VZ automatisch auf SSD und es kommen alle LXc und VMs da drauf, die eben auf SSD laufen sollen

 

[Spliffsta]

Wie am besten vorgehen wenn ich nextcloud über ne turnkey vm machen will? Truenas hat iwas so dass ich das nicht direkt installieren kann...troubleahooting gebe ich nun auf.

Würde über truenas einen zfs mirror erstellen (2x 2tb wd nas ssd), auf diesen mirror über truenas ein Dataset "immach" und laufen lassen.
Dann einen NFS share "nextcloud" und über proxmox in die turnkey vm mounten?

Aktuell proxmox als host. Darauf truenas als vm

 

[BobbyD]

Habe Nextcloud-AIO als Docker in nem LXC, ne VM braucht es da nicht.

 

[Mac_leod]

Hi,
ich schau gerade, was ich noch an Hardware rumliegen habe für einen zweite PVE Host.
Ein X570S AORUS + 5700G könnte ich entbehren und nun frage ich mich, ob das passen könnte, was die Belegung aller Slots angeht.
Laut Handbuch müsste das so funktionieren aber ich möchte vorher eure Meinung bevor ich da noch mehr Zeit rein Stecke.

CPU
Ryzen 5700g, dadurch laufen die M2 nur mit PCIe3 aber das ist bei den Optanes kein Problem.

PCIe Slots
PCIEX16: RAID-Controller 1
PCIEX8: RAID-Controller 2
PCIEX4: 10G-NIC (Dualport)
Dann laufen die Ports mit x8 / x8 / x4

M2 Slots
M2A_CPU: Optane P1600X (SLOG Mirror)
M2B_SB: Optane P1600X (SLOG Mirror)
M2D_SB: Optane P1600X (L2ARC)
M2C_SB bleibt leer, damit PCIEX4 nicht abgeschaltet wird.

 

[pwnbert]

Imho hat das Board keinen PCIe x8 Slot, sondern nur x16 CPU und 2 Chipset Slots die mit x4/x0 oder x2/x2 laufen können...

L2ARC ist für die Fische und wofür man SLOG braucht, vor allem als Mirror, wenn man noch nicht mal ECC hat... mhmhmhm... musst du wissen.

 

[Shihatsu]

Vor allem: Wo landet das OS? Frage für einen Freund

 

[pwnbert]

Am USB-Stick? hrhr

 

[MrWahoo]

@pwnbert Laut Handbuch geht es um das Aorus Master und nicht das Elite, von daher könnte er x8/x8/x4 fahren, nur der M2C_SB bleibt leer, wie er auch selbst schreibt.

Also ja, das sollte schon gehen. ECC kann das Board auch.

Edit: Sorry, geht ja um den 5700G - dann natürlich kein ECC

 

[asm@s24]

M2A_CPU: Optane P1600X (SLOG Mirror)
M2B_SB: Optane P1600X (SLOG Mirror)
M2D_SB: Optane P1600X (L2ARC)

Bei mir hat jedes "richtige" ZFS vor allem ein Special VDEV auf SSD.
Statt L2Arc lieber RAM.
Und SLOG... niemand im HomeLab macht doch synchronous writes? Das machen wir ja noch nicht mal in der Firma; oder sonst irgendwer, der sich auf smb/cifs verlässt.
NFS hat defaultmässig sync, aber wer das nicht auf async stellt, dem scheint es nichts asuzumachen, Lebenszeit mit Warten zu verbringen. Spaß macht das jedenfalls nicht.

 

[Luckysh0t]

Und SLOG... niemand im HomeLab macht doch synchronous writes?

Also ich nutze sync writes auf meinem PVE. Als SLOG nutze ich eine Optane P1600X. Als weiteres Schutzelement für das gesamte System. In meinem begrenzten Umfeld daheim, habe ich damit keine Nachteile.

 

[gea]

Bei mir hat jedes "richtige" ZFS vor allem ein Special VDEV auf SSD.
Statt L2Arc lieber RAM.
Und SLOG... niemand im HomeLab macht doch synchronous writes? Das machen wir ja noch nicht mal in der Firma; oder sonst irgendwer, der sich auf smb/cifs verlässt.
NFS hat defaultmässig sync, aber wer das nicht auf async stellt, dem scheint es nichts asuzumachen, Lebenszeit mit Warten zu verbringen. Spaß macht das jedenfalls nicht.

Slog mit sync für VMs unter Proxmox macht schon Sinn. ZFS garantiert mit CoW lediglich die eigene Unversehrtheit, nicht jedoch die Unversehrtheit für VM Dateisysteme. Die Optane 1600 ist als Slog perfekt geeignet.

Ein Slog Mirror ist eher Luxus pur. Ein Slog darf kaputtgehen. Nur wenn das Slog mit Daten kaputtgeht, kann ein Verlust entstehen. Viel wahrscheinlicher wäre da kein Datenverlust sondern lediglich geringere Performance mit ZIL statt Slog.

Ein Special vdev mit Hybrid Pool wird aber immer interessanter, das es Metadaten, kleine Files z.B. bis 128K, Fast Dedup und seit neuem neuestem auch Slog kann.
Ich würde mit 3 x P1600 jetzt ein Slog und ein Special vdev Mirror machen, künftig ein Special vdev/Slog Mirror und ein VM Storage für schnelle VMs für die 3. Optane.

 

[Mac_leod]

L2Arc wollte ich hinstellen, damit die Kiste nicht lahm wird wenn der Arc voll ist.
Das passiert mir bei meinem ersten Host immer mal.
Mehr RAM ist immer gut, aber den muss ich anschaffen, die CPU und das Board hab ich schon da und ich möchte kostensparend einsteigen, mit 2x 32 GB.

Performance technisch, rennt das ZFS mit SLOG auf einer Optane um einiges schneller als mit irgend einer anderen nvme SSD, egal wie aktuell diese ist.
Irgendwo weiter vorn, hatte ich mal Performancemessungen gepostet, mit SLOG auf Optane, normaler SSD usw. Finde den Post aber leider gerade nicht.
Knallt das SLOG weg hat man ein Problem, daher der Mirror.
Damit meine ich, wenn gerade Sync-Writes vorhanden sind, die noch nicht in den Pool geschrieben wurden, und das SLOG fliegt weg, weil der Optane den Geist aufgibt, wird der Pool als "unclean" markiert und das muss man erstmal wieder weg bekommen.
Als ich angefangen habe, mit zfs rumzuspielen, hab ich das mal live getestet, war nicht so clever...

Ich setz ZFS immer mit Sync-Writes ein, weil es einfach noch eine zusätzliche Ebene an Sicherheit bringt.
Wenn schon kein ECC, mangels CPU Support vorhanden ist, eine CPU mit igpu + richtigen ECC Support, das wärs.

Mein Fehler beim Post vorher war zu erwähnen, dass ich das Master meine und nicht das Elite, dachte der Link ist eindeutig.
Für das OS sind doch genug SATA Ports frei, man kann pve auch direkt in einen zfs Mirror beim installieren packen, der Installer unterstützt das eigentlich dachte ich.

edit:
vdev mit Hybrid Pool ist ne Klasse idee, schau ich mir an.

 

[gea]

Fällt ein Slog aus, so findet logging ab dem Zeitpunkt auf das ZIL statt. Kein Datenverlust und ZFS ist valide, Performance sinkt.
Fällt ein Slog mit Daten aus die noch nicht auf den Pool geschrieben sind und stürzt der Rechner dabei ab, so sind die letzten Sekunden Schreiben verloren, ZFS ist valide, genauso wie er es mit sync=disabled wäre.

Sync ist kein Ersatz für ECC, adressiert ein ganz anderes Risiko.

Sync bei einem Filer ist unnötig und macht Schreiben nur viel langsamer. Nur für den theoretischen und seltenen Fall dass ein write bereits vollständig im RAM war als der Rechner abstürzte, hätte sync einen Vorteil.

 

[asm@s24]

Slog mit sync für VMs unter Proxmox macht schon Sinn. ZFS garantiert mit CoW lediglich die eigene Unversehrtheit, nicht jedoch die Unversehrtheit für VM Dateisysteme.

Das setzt ja voraus, jemand weiß, was in der VM passiert bzw. kann dort sync writes in seinen Apps einstellen. In 99+% der Fälle ist ja async der default.
Was nützen denn sync wites im ZFS auf PVE, wenn in der VM (z.B. Windows) alles async ist? Windows hat ja sowieso ein internes Caching und das schert sicht nicht um den darunterliegenden Storage.
Wer kann die ganze Kette von App via RAM-Cache via Filesystem in der VM via Hypervisor bis auf den Rost haarklein nachvollziehen bzw. sicherstellen?
Wenn ich in den letzten 10 Jahren oder so überhaupt mal Daten verloren habe, dann nicht etwa, weil ich irgendwo im Hypervisor-Filesystem async writes hatte, sondern weil ich Daten gelöscht hab, für die es kein Backup gab.
Also dieses Bohei um "Datensicherheit" (dazu gehört auch ECC) hat für mich 'n bißchen arg was von Paranoia.

 

[gea]

Sync soll nicht vor Datenverlust schützen, sondern dafür sorgen dass bestätigte Schreibaktionen auf Platte sind und nicht im Ram Schreibcache verloren gehen können. Es schützt damit atomare Schreibvorgänge einer VM die immer komplett ausgeführt werden müsse wie z.B. Datenblock schreiben und Metadaten aktualisieren. Ein Fehler hier führt zu einem korrupten Dateisystem in der VM. ZFS Copy on Write schützt zwar atomare Writes in ZFS, nicht aber in der VM.

Natürlich geht es hier wie bei ECC um Statistik und Problemhäufigkeit oder anders ausgedrückt ob man in einer kürzeren Zeit eher Gustav Gans oder Pechmarie ist. Zieht man den Strecker beim Schreiben einer VM hundertmal oder wartet bei viel RAM ohne ECC ein Jahr, so hat man mit hoher Wahrscheinlichkeit eine Problem Ereignis.

 

[Mac_leod]

Aber zurück zu meiner Frage, egal wie ich die Optane verwende, so müsste das theoretisch funktionieren oder?