Project PMXX

Proxmox-Server für Hardwareluxx

Unser letztes Server-Upgrade für Hardwareluxx ist schon eine Weile her – im Jahr 2022 installierten wir einen neuen ESX-Server, basierend auf der Ice-Lake-Plattform von Intel, mit zwei Intel Xeon Gold 6348. Der Server ergänzte unsere bestehenden FS3017 von Synology, die wir seit 2018 eingesetzt haben. In der Zwischenzeit hat sich – bis auf ein paar kleinere Veränderungen an den Backup-Systemen – wenig getan. Im Jahr 2026 starten wir jetzt wieder durch: Denn sowohl von der Server-Architektur, wie auch der Software-Seite, hat sich in den vergangenen Jahren viel getan. Unser neues Projekt "PMXX" stellen wir in diesem Artikel erstmals vor.

Und bei dem einen Artikel wird es nicht bleiben, denn wir haben viel vor. Der Hauptgrund für das Upgrade auf einen neuen Server ist kein Hardwarefehler oder zu langsam laufende Dienste – die alten Maschinen laufen eigentlich noch hervorragend - sondern ein Software-Problem: Durch den Kauf von VMWare durch Broadcom haben sich die Lizenzbedingungen für die von uns verwendete ESX-Software massiv geändert. vSphere/ESXi als professionellste Lösung wird pro Kern lizenziert - bei den 56 bislang genutzten Kernen können so je nach ESX-Version und Umfang schnell Kosten oberhalb von über 3.000 Euro pro Jahr entstehen. Für größere Unternehmen mit entsprechenden Support-Anforderungen mag dies in Ordnung sein, für unsere Zwecke stellt dies aber einen Kostenblock dar, den wir gerne vermeiden wollen. 

Nach diverser Recherche und Gesprächen im aktuellen und vorherigen Jahr haben wir deshalb die Entscheidung gefällt, zukünftig auf Proxmox VE zu setzen. Als OpenSource-Software fallen hier große Kostenblöcke weg, es gibt Jahres-Abonnements pro CPU-Sockel (und nicht pro Kern). Je nach Anzahl der Support-Kontakte wäre selbst das Premium-Modell kostengünstiger als die Broadcom-Lösung - wobei wir davon ausgehen, einen derartigen Umfang nicht zu benötigen. Hinzu kommen weitere Features - wie integrierte Backup-Möglichkeiten - die uns in Zukunft nicht nur Lizenzkosten, sondern auch Zeit sparen werden. 

Zu Proxmox und unserer Umstellung auf das neue System wird es in Kürze einen weiteren Artikel geben. Da wir natürlich möglichst keine Downtime für unsere Dienste haben möchten, wollen wir einen neuen Server ins Rack schieben – vorinstalliert mit Proxmox VE, um dann die Dienste entsprechend zu importieren. Der alte Server wird im Anschluss dann ebenso umgerüstet, und verbleibt dann für Notfälle ausgeschaltet im Rack. 

Aber welche Hardware setzen wir in Zukunft ein?

Der Server: Gigabyte R284-S93-AAL1

Die Basis für unseren neuen Proxmox VE-Server - und somit das Projekt "PMXX" ist ein Gigagbyte Rack-Server. Das 2-HE-Modell R284-S93-AAL1 setzt auf eine Intel-Architektur - und hat gleich mehrere Besonderheiten, die es für uns attraktiv machen. Ziel war es, sowohl schnellen lokalen Storage zu besitzen, wie auch die Möglichkeit zu haben, schnelle Netzwerkverbindungen zu unserem Storage-Backbone von Synology zu ermöglichen. 

Als Prozessoren können im R284-S93-AAL1 aktuelle Xeon 6700/6500-Modelle zum Einsatz kommen, die aus der aktuellen Granit-Rapids-Serie stammen. Wir setzen hierbei auf zwei Xeon 6737P: Schnelle 32-Core-Modelle mit höherer TDP und einem höheren Boost-Takt von maximal 4 GHz. Insgesamt werden also 64 Kerne und 128 Threads im Server arbeiten, mit insgesamt 288 MB Cache. Die Prozessoren haben ein 8-Kanal-Speicherinterface, weshalb idealerweise 16 DDR5-6400 Speichermodule für die volle Performance eingesetzt werden sollten. 32 Slots RDIMM/MRDIMM-Slots besitzt der Server insgesamt, insofern wäre noch die Möglichkeit gegeben, den Speicher weiter auszubauen. 

Neben den zwei CPU-Sockeln lassen sich in der Front des Gigabyte-Servers bis zu 12 SSDs einbauen, die über PCIe-5.0-NVMe-Schnittstellen angebunden sind. Alternativ lassen sich auch SATA- oder SAS-4-Geräte in die Hot-Swap-Bays einsetzen. Auf der Rückseite des Servers befinden sich weitere zwei 2,5-Zoll-Einschübe für weitere zwei SATA/SAS-4-Drives. Und als M.2-Slots lassen sich intern zwei weitere PCIe-5.0-NVMe-SSDs einsetzen. Unser Plan: Vollbestückung der Front und interne SSDs für das Betriebssystem. 

Neben DRAM und Storage sind heutzutage auch die Erweiterungskarten interessanter in einem Server. Gigabyte verbaut im R284-S93-AAL1 zwei PCIe 5.0-Slots für GPUs (Full Height Full Length = FHFL), weiterhin zwei FHHL (Full Height, Half Length) PCIe-Slots für weitere Geräte, alle mit voller Geschwindigkeit. Zudem werden auch zwei OCP NIC 3.0 über PCIe Gen5 integriert. OCP NIC steht für Open Compute Project Network Interface Card - über ein derartiges Modul können beispielsweise weitere Netzwerkkarten von hinten in den Server eingeschoben werden. Wir planen gleich zwei PCIe-Karten einzusetzen: Zum einen wird eine A400 von NVIDIA eingesetzt, in Form einer GRAID Technologies SupremeRAID Core SR-1001 AM-Karte. Sie wird die RAID-Operationen über die GRAID-Technologies-Software auf die GPU auslagern und damit massiv beschleunigen (auf bis zu 10 Mio IOPS). Und wir rüsten auch beim Netzwerk auf, mit einer QNAP QXG-100G2SF-E810-Karte, die zwei 100-GBit-Ports mitbringt. Unser interner Traffic zu den Synology-Modellen und anderen Servern wird über diesen Weg geroutet.

Gigabytes R284-S93-AAL1 liefert weiterhin zwei GBit-Ethernet-Ports über einen Intel i350-AM2-Controller gleich mit. Diese Verbindung werden wir für externe Zugriffe nutzen. Ein Management-Port ist natürlich auch vorhanden (über BMC ASpeed AST2600). Über die Gigabyte Management Console lassen sich dabei Health Monitoring-Features und Statistiken vom Server abrufen. Gigabyte integriert auch einen Mini-DP und USB-Schnittstellen. 

Auch wenn die Hardware trotz Stromspartechniken sicherlich einiges an Strom verbrauchen wird, sind die beiden 2.700 W starken, redundanten Netzteile mit 80-Plus-Titanium-Zertifizierung positiv zu nennen. Weiterhin positiv: Passende CPU-Shrouds, automatisch gesteuerte Lüfter, passende CPU-Kühler, Rackschienen und Ähnliches sind im Gigabyte-Paket bereits enthalten. Mit dem R284-S93-AAL1 bekommt man also ein tolles Komplettpaket für einen leistungsfähigen und sehr flexiblen Server. 

Preislich liegt der Gigabyte R284-S93-AAL1 bei knapp 4.650 EUR (Stand 17.12.2025, aktuell z.B. bei Computeruniverse oder Cyberport).

Storage: Kingston DC3000ME SSDs

Kingston ist der Anbieter der Wahl, wenn es um die Storage-Komponenten unseres nächsten Servers geht. Beginnen wir mit den SSDs: Die DC3000ME hatten wir schon Mitte des Jahres einmal vorgestellt, die schnellen PCIe-5.0-SSDs sind perfekt für den Gigabyte-Server geeignet und liefern wahrscheinlich deutlich mehr Performance, als wir benötigen werden, erst recht im Gespann mit zwölf Drives. Passenderweise mit PCIe-Gen-5.0-x4-Schnittstelle, was Gigabyte entsprechend auch ohne Ausbremsen bei allen 12 Slots ansteuern kann. Die SSDs sind mit einer Kapazität ab 3,84 TB erhältlich, bis zu Kapazitäten von 15,36 TB. Neben der Geschwindigkeit von 14.000 MB/s beim Lesen und 5.800 MB/s beim Schreiben sind besonders die IOPs mit 2.700.000 IOPs beim Lesen und 300.000 IOPs beim Schreiben hervorzuheben. Verwendet wird ein Marvell-MV-SS1333-Controller mit eTLC-3D-NAND von Micron (232 Layer).

Im Rechenzentrum zählt natürlich nicht nur die Performance, sondern auch die Haltbarkeit. Hier hat Kingston bereits bei uns Stetigkeit bewiesen, denn von den neun im Jahr 2018 eingesetzten DC400-SATA-SSDs in unseren Flashstations sind trotz Dauerbetrieb bislang keine Drives ausgefallen. Ihre offizielle Lebensdauer haben die Laufwerke mittlerweile schon lange hinter sich. 

So zählen wir auch auf die DC3000ME, die mit ihrer MTBF von 2 Millionen Stunden und insgesamt 7.000 TB TBW / 1DWPD die nächsten Jahre ohne Probleme halten sollten. Derartige Spezifikationen sollten wir in unserer Umgebung nicht ausreizen. Kingston gibt auf die Drives eine fünfjährige Garantie. 

Praktisch: Auch über die Leistungsaufnahme muss man sich aufgrund der integrierten Kühlkörper keine Gedanken machen, sie liegt bei maximal schreibend 24 W auch im Rahmen. Hinzu kommen Fähigkeiten wie TCG Opal 2.0 und AES 256 Bit-Verschlüsselung. 

Die 12 Drives haben wir bereits in den Server eingebaut - und so eine Domino-Reihe von SSDs macht optisch immer etwas her.

Wie jedes Produkt im Speicherbereich sind die Preise für die DC3000ME aktuell deutlich angestiegen. Zwischen 700 und 850 EUR muss man für ein Drive aktuell bezahlen, wobei die Preise (Stand 17.12.2025) sich in Zukunft sicherlich weiter nach oben orientieren werden. 12 Drives schlagen entsprechend mit ca. 9.600 Euro zu Buche.

DRAM: Kingston Server Premier DDR5

Auch beim DRAM setzen wir auf Kingstons Qualität: Hier kommen insgesamt 16 KSM64R52BD4-64MD-Speichermodule zum Einsatz. Und ja: Die Speichermodule sind gerade super rar, zum Start des Projektes waren sie glücklicherweise noch in größerer Stückzahl und für knapp 600 EUR / Modul verfügbar. Ähnliche Module mit nur 5.600 MHz kosten momentan knapp 1.500 Euro pro Stück. Aber es kommen hoffentlich auch wieder bessere Zeiten für den Speicherkauf.

Insgesamt benötigen wir 16 Speichermodule aufgrund der Serverarchitektur: Die beiden Intel-CPUs liefern jeweils ein 8-Kanal-Speicherinterface. Um die volle Performance zu erreichen, sollte man also pro CPU auf 8 DIMMs setzen, entsprechend bei einem Dual-Sockel-System auf 16 Module. Da bei RDIMMs die Intel-Architektur DDR5-6400 vorsieht, haben wir auch die höchste Performancestufe für die Speichermodule gewählt. 

Die Kingston Server Premier RDIMMs besitzen eine Kapazität von je 64 GB, insgesamt kommen also 1 TB an DRAM zum Einsatz. Mit CL52-52-52 und 2RX4 (Dual Rank) sowie reg. ECC haben die Module alle Funktionen, die man von einem Serverspeicher erwartet. Sie sind mit 1,1V zu betreiben und haben die JEDEC-Normhöhe von 31,25mm, damit sie auch in alle Server problemlos physisch passen. Heatspreader, Beleuchtung: Natürlich Fehlanzeige, das braucht man nur beim Gaming-PC.

Nehmen wir mal die "alten" Preise - so sind wir beim Speicher bei Gesamtkosten für die 16 Module bei 9.600 EUR. 

Netzwerk: QNAP QSW-M7308R-4X und QXG-100G2SF-E810

Bei unserem aktuellen PMXX-Projekt hört es 2026 nicht auf: Der Plan ist es, auch die FS3017 langsam zu ersetzen. Notwendig ist dies sicherlich noch nicht, aber Hardware, die 8 Jahre auf dem Buckel hat und dauerhaft 24 Stunden, 7 Tage die Woche, 365 Tage im Jahr läuft, kann auch mal irgendwann das Zeitliche segnen. Während die aktuellen FS3017 mit 10GBit-Ethernet untereinander und über einen Switch zum ESX-Server verbunden sind, wollen wir die zukünftigen Produkte gleich mit 100GBit-Ethernet verbinden.

Die Basis hierzu stellen QXG-100G2SF-E810-Karten von QNAP dar, die mit Intels E810-CAM2 Ethernet Controller ausgestattet sind und zwei QSFP28-Ports verwenden. Die PCIe-4.0-Karten bauen wir sowohl in unseren PMXX ein, wie auch später in den älteren, umgerüsteten ESX-Server. Zudem wird der kommende Storage-Backbone, der die FS3017 ersetzen wird, mit 100GBit-Ethernet angebunden. Die Karten unterstützen durch Intels Controller Forward Error Correction, die Ports lassen sich aufsplitten in 2x2x oder 4x 25GbE-SFP28-Verbindungen oder auch in 2x4x 10GbE-Verbindungen.

Als Switch setzen wir auf QNAPs QSW-M7308R-4X. Der Port besitzt vier QSFP28-Ports mit je 100GbE-Leistung, und weitere acht 25-GbE-SFP29-Ports mit je 25GbE-Leistung. Der Managed-Switch besitzt QNAPs QSS-PRO-Betriebssystem, das eine L3-Lite-Verwaltung bietet. Insgesamt bietet der Switch eine Backbone-Switching-Kapazität von 1200 Gbps. Durch sein halbbreites 1U-Design würden auch zwei Modelle nebeneinander in ein 19-Zoll-Rack passen. Wir sind natürlich am Ende auf die Performance gespannt, die wir über das Netzwerk erreichen können. 

Der Switch ist momentan ab ca. 1.369 EUR verfügbar, für eine Netzwerkkarte muss man knapp 789 EUR bezahlen. 

Zwischenfazit

Ein schönes Stück Hardware wird da in unser Rechenzentrumsrack kommen - doch ganz so weit ist es noch nicht. Wir warten noch auf die CPUs und die NVIDIA-GPU, anschließend können wir die Basisinstallation vornehmen. Und natürlich werden wir vor dem Transport in das Rechenzentrum hier noch etwas testen.

Uns interessiert beispielsweise brennend die SSD-Bandbreite des Systems - zum einen mit, aber auch ohne die GRAID-Technologies-Lösung. Auch die üblichen Standardbenchmarks für CPUs und Speicherbandbreite werden wir einmal überprüfen, und dann auch schauen, was wir über die QNAP-Netzwerkkarten an Datentransfer schaufeln können. Diese Dinge lassen sich natürlich besser vor dem Einbau in das Rack hier im Labor bewerkstelligen. Und natürlich halten wir unsere Leser über die Ergebnisse in einem Artikel auf dem Laufenden. 

Anschließend werden wir uns an die Proxmox VE-Installation machen. Auch hier wird es einen Artikel geben, bei dem wir auf die Migration vom bisherigen System auf Proxmox VE eingehen werden. Daumen drücken, dass dann alles glattgeht. An der Hardware wird es zumindest nicht liegen.