PMXX Server-Projekt

Gigabytes R284-S93-AAL1 Server im Test

Im Rahmen unseres PMXX-Projektes nutzen wir den Gigabyte R284-S93-AAL1, einen leistungsstarken 2U-Rackserver vom taiwanesischen Hersteller, der auf Intels neue Xeon-6-Prozessoren setzt. In den letzten Wochen hatten wir nun Zeit, umfassende Tests zu machen, den Server sowohl unter einer Windows Server-Umgebung wie unter Proxmox zu testen und können nun eine Einschätzung über den High-End-Server geben, der von Gigabyte für High-Performance-Computing, KI-Inferenz und Software-Defined-Storage-Anwendungen entwickelt worden ist.

Gigabytes R284-S93-AAL1 basiert dabei auf einem üblichen 2U-Rack-Formfaktor, allerdings mit einer recht massiven Länge von 815mm, und somit recht viel Platz. Das liegt an der Ausrichtung des Servers, der nicht nur in die Richtung Storage gehen kann, sondern auch durch die Integration von GPUs als KI-Basis dienen kann. Mit Unterstützung für zwei Xeon-6-Prozessoren von Intel, entsprechend reichhaltigem, schnellen DDR5-Speicher mit hoher Bandbreite und massiver PCIe-Gen5-Konnektivität positioniert sich der Server also als Grundlage für viele mögliche Szenarien. 

Die Spezifikationen des Servers haben wir in einer Tabelle zusammengefasst:

Intels Xeon 6 Plattform als Basis

Der R284-S93-AAL1 nutzt die neue Intel-Xeon-6-Plattform, die speziell für moderne Cloud- und Enterprise-Anwendungen entwickelt wurde. Die CPUs unterstützen eine Vielzahl fortschrittlicher Funktionen und bieten erhebliche Verbesserungen gegenüber früheren Generationen. Im Test hatten wir dabei zum Start nur die größeren Prozessormodelle, für unsere Zwecke sind Modelle mit 96 oder 144 Kernen pro CPU überdimensioniert. Im Test - und später auch in unserem Live-Betrieb - setzen wir auf zwei Xeon 6737P, die mit je 32 Kernen ausgestattet sind. 

Die Granite-Rapids-Plattform hat dabei einen besonderen Vorteil: Die hohe Speicherperformance aufgrund des Achtkanal-Speicherinterfaces lässt oftmals sogar AMDs aktuelle EPYC-Modelle hinter sich, da diese mit 6.400 MT/s statt nur mit 4.800 MT/s läuft. Intel kann zudem mit MRDIMMs theoretisch sogar bis zu 8.800 MT/s liefern. 

Weitere Verbesserungen zur Vorgängergeneration betreffen die PCIe-Anbindung (jetzt Gen5), eine verbesserte Energieeffizienz und Optimierungen für Virtualisierungen und Container-Workloads, inklusive Sicherheitsfunktionen wie Intel TDX und SGX. Durch die Dual-Socket-Konfiguration kann der Server eine enorme Gesamtleistung erreichen und eignet sich besonders für virtualisierte Infrastrukturen, Datenbanken und KI-Inference-Workloads.

Speicherarchitektur: DDR5 & MRDIMM für maximale Bandbreite

Ein entscheidender Vorteil des Gigabyte-Systems ist die Unterstützung von bis zu 32 DDR5 pro DIMM-Slot. Diese ermöglichen nicht nur eine hohe maximale Speicherkapazität, sondern auch eine sehr hohe Speicherbandbreite. Unterstützt werden sowohl DDR5-RDIMM für klassische Enterprise-Konfigurationen, wie auch DDR5-MRDIMM für extrem hohe Speicherbandbreiten. Bei besonders großen Datenbank-Workloads, wissenschaftlichen Anwendungen, Virtualisierung und KI-Anwendungen sind diese MRDIMMs in der Lage, noch einmal einen Performance-Vorteil zu bieten. 

In unserem Fall setzen wir auf RDIMMs von Kingston (Server Premier DDR5), genauer gesagt insgesamt 16 Module des Typs KSM64R52BD4-64MD. Die 64-GB-Module besitzen die übliche reg. ECC-Korrektur, sind mit 1,1 V zu betreiben und laufen mit CL52-52-52 und 2RX4 (Dual Rank). Wir verwenden 16 Module, um zum einen pro CPU das Achtkanal-Speicherinterface zu nutzen und somit die optimale Performance zu bekommen. 

Die Verteilung der Speicherkanäle über beide Prozessoren sorgt für eine optimale Nutzung der Bandbreite und reduziert Engpässe bei speicherintensiven Anwendungen.

Storage-Subsystem – Flexibilität statt maximaler Dichte

Der Gigabyte R284-S93-AAL1 bietet eine flexible Storage-Konfiguration, die sich an verschiedene Anforderungen anpassen lässt. Die Front unterstützt bis zu 12 Laufwerke im 3,5-Zoll- oder 2,5-Zoll-Format. Je nach Backplane-Konfiguration können dabei SATA-SSDs oder HDDs verwendet werden, oder aber SAS-Laufwerke und NVME-SSDs, mit der entsprechenden Backplane. Wir haben uns für die schnellste Variante entschieden und setzen auf NVME-Drives. 

Insgesamt stehen aber auch noch weitere vier Möglichkeiten zur Verfügung, zusätzlichen Speicher einzubauen und zu nutzen. Auf der Rückseite sind zwei Einschübe für weitere zwei 2,5-Zoll-Drives - hier könnte man beispielsweise Boot- oder redundante Betriebssystem-Installationen auf diese Drives setzen, um die "Front-Drives" so zu konfigurieren, dass hier ein schnelles Daten-Array entsteht. 

Intern sind aber weitere M.2-Steckplätze zu haben, die wir verwendet haben. Die üblichen M.2-Drives mit PCIe-5.0-Anbindung, die man auch aus dem normalen Desktop-Bereich kennt, sind preiswert zu haben - und deshalb haben wir hier zwei übliche Kingston Renegade G5-Laufwerke mit je 1 TB verbaut, um auf diesen Proxmox in einem RAID 1 (ZFS) zu installieren. 

Sehr gut gelöst ist beim Gigabyte R284-S93-AAL1 die Anbindung der einzelnen Drives: Hier läuft nichts "shared" oder mit einer kleineren Anzahl an Lanes als vorgesehen. Je drei PCIe 5.0 x16-Links verwendet Gigabyte für die Front-NVME-Drives, sodass alle mit voller PCIe 5.0 x4-Anbindung laufen können. Identisches gilt für die internen und rückwärtigen Anschlüsse. Eine Performance-Bremse liegt im Bereich der NVME-Drives also nicht vor. Interessant: In In unseren Tests kamen wir bei Software-Raids eher an die Leistungsgrenze des UPI-Links zwischen den Prozessoren, welche bei den zur Verfügung stehenden vier UPI-Links bei 24 GT/s liegt. 

Erweiterbarkeit – PCIe Gen5 und GPU-Support

Ein entscheidender Vorteil des R284-S93-AAL1 ist seine hohe Erweiterbarkeit. Diese wird insbesondere benötigt für schnellere NICs oder aber für RAID-Controller bei SATA/SAS-Ausführungen - aber heutzutage natürlich auch für GPUs.

Das System verfügt insgesamt über:

• Vier PCIe Gen5 x16 Slots
• Zwei OCP NIC 3.0 Slots

Ein kleiner Fehler, den wir bei der Konfiguration des Servers gemacht haben, war die OCP-NIC-Möglichkeiten nicht auszuschöpfen. Wir haben sowohl eine Intel-10-GBit-PCIe-Karte eingebaut, wie auch eine QNAP QXG-100G2SF-E810-Netzwerkkkarte mit zwei 100-GBit-Schnittstellen (basierend auf Intels E810-Chip). Beide Lösungen hätte es auch als OCP-Karte gegeben, was uns weitere PCIe-Steckplätze freigehalten hätte. Wer also plant, viele GPUs einzubauen, könnte mit den OCP-Karten den Platz besser nutzen. 

Als Steckplätze kommen zwei Dual-Slot-Lösungen infrage, weiterhin darunter zwei Single-Slot-Lösungen. Insgesamt könnte man die vier PCIe-Gen5-x16-Slots also mit zwei größeren Blackwell-Karten ausstatten, und auch noch zwei kleinere Single-Slot-Grafikkarten hinzufügen. Aber: Zumindest für die großen Karten besitzt der Gigabyte-Server zwei 12VHPWR-Anschlüsse an den beiden Netzteilen. Die beiden weiteren Karten müssten also über den PCIe-Slot mit Strom versorgt werden. 

In unserer Kombination finden sich also:

• Eine Intel E610-XT2 Karte mit zwei RJ45-Anschlüssen (10-GBit-Ethernet)
• Eine QNAP QXG-100G2SF-E810 Karte mit zwei QSFP28-Anschlüssen (100-GBit-Ethernet)
• Eine NVIDIA RTX A1000-Karte für GRAID Technology SupremeRAID Pro.

Netzwerk, Konnektivität und Remote Management

Standardmäßig bietet der Server zwei 1-Gigabit-Ethernet-Ports für allgemeine Netzwerkkommunikation und einen dedizierten Management-Port. Beide befinden sich auf der Rückseite vom Server in der Mitte, neben einem Mini-Display-Port-Anschluss und zwei USB-3.0-Anschlüssen für externe Medien. 

Für das Management verwendet Gigabyte den bewährten ASPEED AST2600 BMC (Baseboard Management Controller). Dieser ermöglicht vollständige Remote-Verwaltung, einschließlich Remote-Power-Control, Hardware-Monitoring, Remote-KVM, der Remote-Installation von Betriebssystemen über diverse Medien (z.B. Virtual-USB/CD-Drives). Interessant ist aber auch ein Remote-Update der Server-Firmware, was in unserem Fall auch hervorragend funktionierte. 

Diese Funktionen sind für Rechenzentren unerlässlich und ermöglichen eine vollständige Verwaltung ohne physischen Zugriff - und somit weniger Kosten durch Remote-Hands, aber auch eine schnellere Reaktion, wenn mal etwas beim Reboot schiefgegangen ist. 

Sämtliche Funktionen waren in unserem Fall einwandfrei implementiert. Gerade das tatsächliche An- und Abschalten eines Servers im Rack durch die BMC-Funktion, die Installation von Software auf dem Produktivsystem und das Hardwaremonitoring können am Ende viel Zeit und Geld im Live-Betrieb sparen. 

Kühlung und Energieversorgung

Der Server verfügt über ein redundantes Netzteil-System mit zwei 2700 W Titanium-Netzteilen. Selbstverständlich verbraucht der Server dabei keine 2,7 kW, aber theoretisch wären die Netzteile in der Lage, alleine - also nicht im Verbund - diese Leistung bereitzustellen. Der Betrieb mit beiden und mit jeweils einzelnen Netzteilen funktionierte testweise dabei ohne Problem. 

Besonders interessant ist es, dass Gigabyte hier nicht nur leistungsfähige Modelle installiert, sondern auch noch besonders effiziente Modelle. Die Netzteile erreichen dabei bei nur 10-%-Last bereits 90-%-Effizienz - das ist ungefähr der Verbrauch des Servers ohne SSDs, Erweiterungskarten und Last im Idle-Betrieb. 

In unserem Fall - also mit voll bestückten SSDs, Erweiterungskarten und unter Last, erwarten wir am Ende eine Last im Bereich der effizientesten Netzteil-Bereiche, also zwischen 20 und 50 % Gesamtlast (94 % bis 96 % Effizienz). Damit ist das System perfekt hinsichtlich der Energieeffizienz ausbalanciert. 

Für die Unterstützung für GPU-Konfigurationen mit hohem Stromverbrauch bringen beide Netzteile 12VHPWR-Anschlüsse mit. Die Redundanz ist natürlich ein Sicherheitsfaktor, falls einmal ein Netzteil ausfällt. Kleine Anekdote: Uns ist in 25 Jahren noch kein Netzteil ausgefallen. Aber auch ohne diesen Sicherheitsfaktor ist ein redundantes Netzteil oft hilfreich, beispielsweise wenn Steckdosenleisten ausgetauscht werden müssen oder das Rechenzentrum Strom aus zwei verschiedenen Quellen zur Verfügung stellen kann. 

Das Kühlsystem des Servers besteht aus insgesamt vier Hochleistungslüftern mit 80x80x38mm-Abmessungen, die eine ausreichende Kühlung selbst unter hoher Last gewährleisten. Entsprechend laut kann der Server bei maximaler Lüfterdrehzahl werden, das Hardwaremonitoring regelt die Lüfter aber performanceabhängig. Da wir mit unseren Prozessoren etwas unter der TDP-Grenze des Servers bleiben (270 W gegenüber 300 W bzw. 350 W bei 25 °C konstanter Racktemperatur), sind Hitzeprobleme eher unwahrscheinlich. 

Der Energieverbrauch unserer SSDs liegt im Idle-Betrieb bei nur 8 W, beim Schreiben bei bis zu 24 W. Wer dazu dann noch zwei High-End-CPUs einbaut und zwei größere Blackwell-Grafikkarten, sollte etwas auf die Lüfterdrehzahlen achten und den Server entsprechend in einem Performance-Mode konfigurieren. In unserem Fall sind thermisch keine Probleme zu erwarten. 

Testdaten und Benchmarks

Ausführliche Benchmarks zu dem GRAID Technology SupremeRAID Pro und den Kingston DC3000ME präsentieren wir zu späterer Zeit in einem gesonderten Artikel zu der RAID-Lösung. Einen kleinen Blick auf die CPU- und Speicherperformance sowie auf den Stromverbrauch wollen wir in diesem Artikel allerdings schon vorwegnehmen.

Intels Twin-Team aus zwei Xeon 6737P lieferten dabei die für ein 64-Core-/128-Thread-Team übliche erwartete Leistung, auch beim Turbo-Takt von 4,2 GHz. Genauso verhielt es sich bei der Speicherbandbreite, die mit den zwei Achtkanal-Interfaces in der Lage war, fast 500 GB/s über den Bus zu schaufeln. Das Storage-Team aus GRAID Technology SupremeRAID Pro und den 12 Kingston DC3000ME erreichte dabei auch über 100 GB/s beim Lesen - und hervorragende Performance bei Write-Vorgängen, mit niedrigster Latenz.

Bleibt die Frage nach dem Stromverbrauch, der heutzutage natürlich auch im Rechenzentrum noch interessant ist. Wir haben folgende Szenarien gemessen:

Je nach Workload kommen dann Verbräuche für die SSDs (gerade im Schreiben) oder für die CPUs hinzu. Hierfür werden wir weitere Daten im Livebetrieb sammeln. In den Speicher- und Storage-Benchmarks schafften wir es aber selten, den Server über 800 W zu bringen. Zu einem späteren Zeitpunkt werden wir die Last-Daten updaten.

Fazit

Gigabytes R284-S93-AAL1 eignet sich besonders für Virtualisierung - z.B. wie bei uns für Proxmox, aber auch für Cloud-Infrastruktur, KI-Inference-Server oder für Anwendungsbereiche wie Software Defined Storage oder Datenbanken. Damit ist es ein wirklich flexibles Modell, mit dem man sich nicht einschränken muss. Gerade die Möglichkeien, GPUs zu integrieren oder die Netzwerkschnittstellen aufzurüsten, oder aber wirklich flexible Storage-Optionen realisieren zu können, bringen eine hohe Flexibilität mit. Damit Gigabyte das alles realisieren kann, setzt man gleich auf eine besonders gute Kühlung und eine zuverlässige Stromversorgung mit 2.700 W starken Netzteilen. Das führt wiederum dazu, dass - sofern man diese hohe Leistung gar nicht braucht - auch eine sehr hohe Effizienz bei dem System erreicht wird.

Intels Xeon-Plattform wird dabei effizient ausgenutzt - und nichts der Features fällt dabei hinten runter. Mit 32 Dimms kann man das System ausgiebig mit Arbeitsspeicher bestücken, mindestens sollten es aber 16 Module sein, um jede CPU mit einem Achtkanal-Interface nutzen zu können. Die PCIe-Lanes der CPUs hat Gigabyte geschickt auf Storage und Erweiterungsmöglichkeiten aufgeteilt. In unserem Fall setzen wir auf 12 NVME-Drives, die alle mit der maximalen Lane-Anzahl angebunden sind - und könnten zusätzlich noch zwei Grafikkarten und mehrere Netzwerkanschlüsse nachrüsten. 

Als wirklich hervorragend kann man die Management-Lösung von Gigabyte hervorheben, die natürlich auch aufgrund der Integration der AMI-Software das Management des Servers sehr vereinfacht. Die Boot-Zyklen sind akzeptabel und auch der Stromverbrauch des Servers ist Dank des flexiblen Aufbaus und der Titanium-Netzteile sehr gut. Einzig und allein als Server mit dem Fokus auf Storage-Dichte ist er nicht die optimale Wahl, hier haben 2U-Modelle mit bis zu 25 Fronteinschüben natürlich die Nase vorne. 

In unserem Fall haben wir den Server mit zwei Intel Xeon 6737P ausgestattet, also aktuellen Granite-Rapids-Modellen mit je 32 Kernen / 64 Threads und bis zu 4 GHz Taktfrequenz. Die 270-W-Modelle liefern somit eine ausbalancierte Performance dank hoher Kern- und Taktrate. Mit 1 TB DDR5 - aus 16 Kingston DDR5-Speichermodulen - können wir jeweils auf das Achtkanal-Speicherinterface zugreifen. 

Für unsere Zwecke mussten wir den Netzwerk-Controller des Gigabyte-Servers aufrüsten - denn wir wollen auch größeren externen Speicher anbinden und dafür brauchen wir mehr Bandbreite, als die 1-GBit-NICs des Servers bieten können. Mit einem 10-GBit-Controller (2-Ports) und einer 1000-GBit-QNAP-Karte (QXG-100G2SF-E810, 2 Ports) bekommen wir einfach die Bandbreite, die wir benötigen. Allerdings wird auch der 1-GBit-NIC genutzt - für die externe Anbindung. Auf der anderen Seite kommt eine NVIDIA RTX PRO A1000 zum Einsatz, um GRAID Technologies SupremeRAID-Fähigkeiten nutzen zu können - zusammen mit 12 Kingston DC3000ME NVME-Drives. Diese Drives liefern genügend lokalen Speicher für unsere Proxmox-Umgebung und mehr als diese 12 Drives brauchen wir auch nicht. 

Preislich liegt der R284-S93-AAL1 aktuell bei knapp über 3.000 EUR Kaufpreis, wobei wir ihn momentan allerdings in Deutschland nur bei ProStor finden konnten.  

Die zwei kleinen Negativ-Punkte auf unserer Liste betreffen unsere Nutzung also nicht, weshalb wir Gigabytes R284-S93-AAL1 mit unserem Business-Hero-Award auszeichnen: