Project PMXX: Proxmox-Server für Hardwareluxx

[HWL News Bot]

Unser letztes Server-Upgrade für Hardwareluxx ist schon eine Weile her – im Jahr 2022 installierten wir einen neuen ESX-Server, basierend auf der Ice-Lake-Plattform von Intel, mit zwei Intel Xeon Gold 6348. Der Server ergänzte unsere bestehenden FS3017 von Synology, die wir seit 2018 eingesetzt haben. In der Zwischenzeit hat sich – bis auf ein paar kleinere Veränderungen an den Backup-Systemen – wenig getan. Im Jahr 2026 starten wir jetzt wieder durch: Denn sowohl von der Server-Architektur, wie auch der Software-Seite, hat sich in den vergangenen Jahren viel getan. Unser neues Projekt "PMXX" stellen wir in diesem Artikel erstmals vor.
... weiterlesen

 

[Metamorph83]

Arbeitsspeicher das wertvollste an dem Teil Aber sag mal was macht ihr alles damit, dass ihr hier 2x32C braucht und soviel (schnellen) Storage? Wieviele VMS habt ihr darauf laufen?

 

[BeamWalker]

Vielen Dank für die schicken Bilder. Bisschen SFW Hardware Porn kann man gut mal haben.

 

[Shutterfly]

Interessantes Projekt, schade das es wieder Intel geworden ist.

 

[Berprinzess]

für die Bilder und den Artikel. Ich freu mich schon auf die weiteren Artikel Macht ihr die PVE Installation und Migration selbst oder habt ihr direkt Unterstützung seitens Proxmox an der Hand?

 

[dbode]

Das machen wir selber, da darf der @Sushimaster ran

 

[Burnz84]

Aber ihr habt nur einen Server ohne Redundanz? Verstehe ich das richtig?

 

[dbode]

Nein, Redundanz ist schon vorhanden, aber wild gewachsen. Wir hatten erst zwei FS3017 im Einsatz, die über Kreuz VMs bedient haben und mit denen wir Storage-seitig alles doppelt vorgehalten haben. Dann kam 2022 ein ESX-Server hinzu, um die Last von den FS3017 zu nehmen, die langsam an ihre Grenzen gestoßen sind. Die Daten verblieben aber auf den FS3017.
Im Rack ist auch noch ein ausgeschalteter älterer Server, der notfalls mit einspringen könnte.

In 2026 wollen wir - mit Proxmox und dem neuen Server - dann die Bereiche etwas klarer voneinander abgrenzen.

 

[kaiser]

Von den Bestands VMware Servern sind die VMs ja mittlerweile super einfach, schnell und unkompliziert auf den Proxmox migriert.
Als ich in der Arbeit nach die neuen Preise bei VMware gesehen habe, wurden alle 4 VM Hosts sofort umgestellt. Pro VM ca. 5 Minuten Migrationszeit und nur 10-15 Minuten Ausfall.

 

[Icke-ffm]

darf man Fragen, wieso Intel und nicht AMD CPUs, preislich liegen nach Kernen die AMD ja noch immer vorne

 

[superdoodle]

Vermutlich Intel-Sponsoring wie bei der SSD Testkiste.

 

[dbode]

Ich denke, man hätte genauso auch ein AMD-System basteln können, am Ende war es jedoch für uns einfacher, bei Intel zu bleiben.
Gigabyte hat da zum Beispiel den Gigabyte Rack Server R283-Z96-AAE1 - den hätte man mit EPYC 9004/9005 bestücken können.
Hier ist beispielsweise ein schönes Projekt mit AMD/Gigabyte: https://pronetic.geeknetic.es/Review/3424/Gigabyte-Rack-Server-R283-Z96-AAE1-Review.html

 

[drakrochma]

Da komme ich mir mit meinem Spielzeug Server für proxmox Server richtig armselig vor...

Ein tolles Spielzeug habt ihr da.

 

[MariaChio]

Uns interessiert beispielsweise brennend die SSD-Bandbreite des Systems - zum einen mit, aber auch ohne die GRAID-Technologies-Lösung.

Ohh ja bitte! Mich interessiert der Performance Unterschied zu einem ZFS mirror.

Generell interessiert mich persönlich die Software fast mehr als die Hardware darunter.
Was sind eure Bedürfnisse, wie ist es aufgesetzt usw...

computerbase hat mal einen Artikel vor Jahren. War zum Beispiel spannend zu erfahren, dass sie 100% der Daten bei Amazon S3 haben, aber dank einer 99% cache hit ratio die Kosten dennoch vergleichsweise tief sind.

 

[toscdesign]

Sehr gerne bitte mehr davon, ich finde solche Artikel immer spannend und interesant
Nutze ja selbst Proxmox im kleinen Aumfang im Homelab, vielleicht kann ich das eine oder andere noch dazulernen.

 

[Lucas Appelmann]

Das Projekt finde ich gut, gerade auch wegen GRaid (da war ich bisher unsicher).
"Meine" Projekte (in der Firma) sind ein bisschen größer (128 Cores mit 1,5 TB RAM) und AMD.

 

[n3cron]

Nein, Redundanz ist schon vorhanden, aber wild gewachsen. Wir hatten erst zwei FS3017 im Einsatz, die über Kreuz VMs bedient haben und mit denen wir Storage-seitig alles doppelt vorgehalten haben. Dann kam 2022 ein ESX-Server hinzu, um die Last von den FS3017 zu nehmen, die langsam an ihre Grenzen gestoßen sind. Die Daten verblieben aber auf den FS3017.
Im Rack ist auch noch ein ausgeschalteter älterer Server, der notfalls mit einspringen könnte.

In 2026 wollen wir - mit Proxmox und dem neuen Server - dann die Bereiche etwas klarer voneinander abgrenzen.

Sowas ähnliche plane ich bei uns in der Firma, wir sind aber aus der Virtualisierung größtenteils raus und das was übrig geblieben ist wird auf Proxmox gehen. Bare Metal hat auch so seine Vorteile. Du musst nur OS und Hardware aktuell halten.

Bei Virtualisierung must du halt Hardware->Virtualisierer->VM OS also 3 Instanzen die immer aktuell seien müssen. Das ist ohne Redundanzen halt nicht wirklich handhabbar.
Seit froh nicht auf AMD gegangen zu sein, wir hatten uns vor 3 Jahren eins auf AMD Basis zusammengestellt und hatten viele Probleme, so das wir eben keinen zweiten Server geholt haben und wieder auf Bare Metal Intel gegangen sind. War ein HP Server, vielleicht hat es auch HP nicht ordentlich hinbekommen aber wir hatten random abstürze etc... hat sich herausgestellt das es ein Problem gab mit CPU Hitze Spikes weil die Lüfter nicht schnell genug hochdreht hatten. Dann gab es Probleme mit der Netzwerkschnittstelle etc.. und wir haben noch gar nicht über die Unzulänglichkeiten von MS gesprochen.

 

[MariaChio]

Bei Virtualisierung must du halt Hardware->Virtualisierer->VM OS also 3 Instanzen die immer aktuell seien müssen. Das ist ohne Redundanzen halt nicht wirklich handhabbar.

Naja, bei bare metal ist es Hardware-> OS. Macht es jetzt IMHO nicht so viel einfacher.
AFAIK kann ich eine VM einfacher von einem host zum anderen verschieben kann, während ich bei bare metal auf Redundanz auf der Applikationsebene brauche.

 

[Luckysh0t]

Ich wünsche euch viel Erfolg bei der Migration. Bei uns steht das evtl. auch noch an - wenn auch erst in den kommenden nächsten Jahren. Sowas soll ja auch gut geplant sein.
Noch dazu bin ich mir nicht so sicher, ob das qdevice so eine wirklich offizielle Sache ist für eine prod. Umgebung. Da wir einen 12 und einen Zwei Node vSphere Cluster haben.

 

[Trambahner]

Ich hab die Migration auch hinter mich gebracht im Homelab vor einiger Zeit . Von ESXI mit Storage-VM für ZFS Datastore (via NFS zurück an den ESXI gegeben, also die seinerzeitige AIO-Lösung) zu Proxmox.
Bei mir is nicht soooo komplex gewesen weil nicht so viele und keine komplizierten VM-Konfigs.
Broadcoms Strategie damals die Free-Version zu beenden, der bessere Hardwaresupport von PVE und natürlich ZFS nativ waren die ausschlaggebenden Gründe.

 

[Icke-ffm]

am Ende war es jedoch für uns einfacher, bei Intel zu bleiben

Genau das meinte ich, wieso einfacher ? am PC ist es ja auch egal was für hardware drin ist entscheidet der Geldbeutel oder vorliebe ob ich eine Intel oder AMD verbaue macht es nicht zu mehr oder weniger arbeit, ist das bei Servern echt ein unterschied vom Aufand her ?

 

[Luckysh0t]

ist das bei Servern echt ein unterschied vom Aufand her

Ist es. Wir nutzen aktuell nach wie vor Intel bei uns, ich würde sehr gerne zu AMD wechseln.

Bei einem CPU-Hersteller Wechsel musst du alle VMs für die Migration auf das neue Cluster herunterfahren, anschließend wieder anschalten, und hoffen, dass alles geht, ggf. den ein oder anderen weiteren Neustart aufgrund neuer HW in der VM. Beim gleichen Hersteller kannst du den Server einfach zum existierenden Cluster hinzufügen.

Wir nutzen vSphere 8, daher weiß ich nicht wie das ggf. jetzt bei 9 oder PVE und Co ist.

Wobei bei einem kompletten Systemwechsel es nicht anders ist vom Aufwand. Hier kommt ja noch die Migration der VMs in ein anderes Format hinzu.U.a deswegen graut es mir etwas, wen wir diesen Wechsel eventuell machen werden...

 

[frodo19]

Spannender Bericht, freue mich schon auf die weiteren!