Stromverbrauch Server

marco500

Experte
Thread Starter
Mitglied seit
24.01.2021
Beiträge
9
Hallo,

ich habe eine Server mit Supermicro H11SSL-i, AMD ECYC 7252.
Es sind 1 SSD und 4 HDD verbaut.
Mir ist der Stromverbrauch zu hoch. Der Server braucht ca 90W im Leerlauf.
Gibt es Einstellungen um den Stromverbrauch zu verringern?
Über Hilfe würde ich mich freuen.

Danke

VG
Marco
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Kannst Du nicht wirklich viel einstellen. IPMI kann man per Jumper deaktivieren, und je nach OS kannst Du die Platten schlafen legen. 90W dünkt mich ganz human bei der Plattform.
 
Was wäre den eine mögliche Plattform, um meinen Speicher Samsung M393A4K40EB3-CWE weiterzuverwenden und den Stromverbrauch deutlich zu reduzieren?
 
Der Speicher ist ideal für die Plattform. Gibt noch ein paar kleine Plattformen die RDIMM fressen. Glaube das MJ11, oder so. Das scheint beim RAM aber bisschen eine Diva zu sein. Konnte zumindest von einem Luxxer 128 GB holen zum Spottpreis, weils bei ihm wohl nicht so gut lief. Und das war 2400er. Aber auch da hast Du IPMI, die Platten saufen, was weiss ich.

Wieviele von den Riegeln hast Du denn drin? Brauchst Du ECC? Wenn ja, würde ich das Rig behalten; wenn nein alles verkaufen und auf was kleines gehen. Geht es rein um Datengrab, oder was hast Du vor?
 
Zuletzt bearbeitet:
Der Server wurde 2022 angeschafft. Während des Testbetriebes haben sich die Anforderungen geändert, so das der Server die ganze Zeit nur als Ersatzserver da war. Es ist Proxmox installiert.
Ich wollte in nun als Ersatz für einen Dell T20 nehmen.
Ich brauche Win Server, Datengrab, SQL Server
 
Mir ist der Stromverbrauch zu hoch. Der Server braucht ca 90W im Leerlauf.
Solche Server sind nicht auf einen geringen Idleverbrauch ausgelegt, denn ein Server der Idled ist nicht produktiv! Hier gehts dann eher um Performance per Watt.
Viel Optimerungsbedarf seh ich da leider auch nicht. Du kannst natürlich mal schauen, ob die C-States greifen (bei Virtualisierungsservern sind die gerne mal aus oder die CPUs gehen nicht besonders tief schlafen) und auch prüfen, ob die Lüfter optimal eingestellt sind. Die können durchaus ordentlich zum Verbrauch beitragen, da die einen hohen statischen Druck aufbauen müssen.

Es sind 1 SSD und 4 HDD verbaut.

Je nach Laufwerk können auch hier ordentliche Werte zusammenkommen. Große Heliumplatten sind da mit ca 5W noch am genügsamsten, für luftgefüllte kannst du locker 8-10W pro Disk einplanen, bei 10K oder 15K Platten sogar noch etwas mehr. Auch sind Enterprise SSDs nicht so sparsam die Consumerlaufwerke.

Ja, es mag Server geben, die noch etwas weniger verbrauchen, habe einen Dell R440 mit zwei 4110ern, 512GB RAM und 4 SSDs auf knapp 75W bei absolut null Last runter bekommen, aber dafür hat der weder nen BOSS, noch nen PERC und bootet via iSCSI über ne Connect-X 4. Aktuell meine Hyper-V Spielwiese für ZFS on Windows.
Sobald aber ne VM läuft, Windows nach Updates sucht, oder Defender im Hintergrund scannt, bist du schnell bei 100W.

1780001357522.png


Macht es Sinn, für 15W die Plattform zu wechseln? Nee, nicht wirklich. Ich an deiner Stelle wäre mit den 90W zufrieden und würde mich freuen, wenn meine Dauerläufer so viel verbrauchen würden :sneaky:
 
RDIMM-Plattformen (und insbesondere ihre CPUs, Chipsätze & Co.) sind leider grundsätzlich primär keine idle Stromsparwunder, sondern auf Effizienz im Mittel- bis Hochlastbetrieb ausgelegt - das ist grundsätzlich ihr Einsatzzweck.

Aber mal zum Vergleich: ein 5950X mit 4x16GB=64GB ECC UDIMM, NIC, ein paar SSDs und ein paar Mini-VMs im idle (Firewall, Teamspeak, Homeassistant, Ubiquiti Controller…) liegt auch schon bei 75-85W mit Windows Server (2022). Ein 5600X mit nahezu gleicher Konfig aber spürbar weniger Bumms bei 50-55W.

Mein 3960X Threadripper lag trotz ebenfalls „nur“ UDIMM auch bei irgendwas zwischen 90W und 120W - wieder mit paar SSDs, NIC, HBA und ESXi.

Mein alter Xeon Silver 4108 oder auch mein Epyc knapp drüber mit 110-160W, auch jeweils mit sehr ähnlicher Hardware, ESXi als OS und Schmalspur-VMs.

Mein Fazit: deutlich runter kommste nur mit mobil-Plattformen und sehr überlegter Auswahl von Komponenten, was zusammen sehr schnell sehr teuer werden kann.

Die Kernfrage ist einfach: wie viel Leistung und ggf. Reserve brauchst/willst Du wirklich in einer 24/7 Box und was kannst Du ggf. auf eine zweite Kiste auslagern, die dann eben nur bei konkretem Bedarf läuft (und deren Dienste dann halt nicht ganz so schnell/komfortabel verfügbar sind wie bei einem 24/7 Dauerläufer).

Beispiel: die Petabyte Filmesammlung darf ja evtl. während der Schlafens- und Arbeitszeit offline sein, wobei die Firewall-VM mit VPN und ggf. andere Daten 24/7 erreichbar sein sollen. Für letzteres kann ein Raspi reichen, der große Bruder fährt dann halt nur bei Bedarf per WOL hoch oder zeitgesteuert von 17:30-00:30h (oder was weiß ich). :)

Die Stromfresser sind bei Dir vermutlich wie schon von anderen erwähnt die HDDs. Umstieg auf SSDs oder Spindown bringt im Zweifel mehr als ein Plattform-Wechsel…
 
Zuletzt bearbeitet:
Hab ich auch nicht behauptet.
 
Aber mal zum Vergleich: ein 5950X mit 4x16GB=64GB ECC UDIMM, NIC, ein paar SSDs und ein paar Mini-VMs im idle (Firewall, Teamspeak, Homeassistant, Ubiquiti Controller…) liegt auch schon bei 75-85W mit Windows Server (2022). Ein 5600X mit nahezu gleicher Konfig aber spürbar weniger Bumms bei 50-55W.
Musst die Cezanne Pro CPUs nehmen (5650G, 5755G..), wenns sparsam sein soll (großer Unterschied zu den "normalen"), ist aber UDIMM und nicht RDIMM, insofern hier eher OT.
RDIMM-Plattformen (und insbesondere ihre CPUs, Chipsätze & Co.) sind leider grundsätzlich primär keine idle Stromsparwunder
Ist wohl leider so.

Als Exot (klein und RDIMM) gibts das MJ11, wie schon genannt, ist halt von seiner Ausstattung und seinen Schnittstellen her "so eine Sache", wenns für dich reicht isses einen Versuch wert, sonst kommts eh nicht in Frage.

Wobei, mit 4-5 HDDs ist auch ein 5750G am B550 bei +/- 60W (mit 128gb UDIMM ECC, paar M.2 SSDs und so Kram, aber die spielen da imho keine Rolle solangs keine PLP sind..).
So ohne irgendwas ist ein 5650G/5750G am B550 Brett bei +/-20W (mit gutem NT darunter, mit IPMI am MC12 z.B. etwas darüber, 23W etwa).
Mit so 7,5W pro HDD +/- muss man dann leider doch rechnen, was ca. 20W für HDDs macht, mit etwas Kleinkram dazu landet man da dann gleich bei >50W total, obwohl die Plattform sehr sparsam wäre.

Insofern ist fraglich, ob ein Abspecken des Epycs einen Break Even hätte.
 
Danke für die infos. Da werde ich bei der HW bleiben. Eine umrüstung ist bei den derzeitigen Hardware Preisen für mich sinnlos. Soviel Strom kann ich in der lebenszeit des Servers gar nicht sparen.
Wie kann ich Proxmox den Zeitgesteuert herunterfahren und auch wieder starten?
 
Wie viel RAM hast denn verbaut (nur intersse), hast du nur 1 Gigabit Netzwerk?
Die neuen Realtek 10 Gbit NICs sind relativ sparsam (falls man gewisse "Spezialfeatures" nicht nutzt, welche man ggf. nur bei Enterprise-Kram findet).
PLP M.2 SSDs können fies sein, meine Micron 7400 pro hat ca. 8w im Idle gebraucht, ist schon krass.

Hast du schon softwareseitig rumgedoktort?

Etwas AI-Slop für dich vom lokalen granite-small, kannst ja mal drüber lesen, vielleicht ist irgendwas für dich brauchbares/anwendbares dabei.
welche sinnvollen Energiesparmaßnahmen (softwareseitig) kann man unter Linux bei Zen 2 Epyc CPUs anwenden?
Used web search exa
Energiespar‑Maßnahmen auf Software‑Ebene für AMD EPYC Zen 2 (Rome) unter Linux
Export
MaßnahmeWas sie bewirkt & warum sie bei Zen 2 sinnvoll istWie man es einstellt
Kernel‑Governor “schedutil” verwendenDer schedutil‑Governor nutzt die Scheduler‑Utilisation, um schneller auf Laständerungen zu reagieren und niedrigere Frequenzen auszuwählen. Das reduziert Leerlauf‑Energie ohne nennenswerte Latenz bei Spitzenlast.bash sudo cpupower frequency-set -g schedutil
amd-pstate aktivieren (statt acpi-cpufreq) – passive Modeamd-pstate nutzt die CPPC‑Hardware und bietet feinere Frequenzschritte sowie den EPP‑Energiepräferenz‑Mechanismus. Im passiven Modus wählt der Kernel selbstständig eine geeignete Leistungsklasse, ohne dass der Benutzer ständig eingreifen muss.bash sudo modprobe amd-pstate<br>oder beim Booten den Kernel‑Parameter hinzufügen:<br>amd-pstate=passive
EPP (Energy Performance Preference) anpassenEPP ist ein ACPI‑CPPC‑Hint, der dem Hardware‑Power‑Algorithmus mitteilt, ob er Leistung oder Effizienz bevorzugen soll. Für Server/Workloads im Rechenzentrum empfiehlt sich balance_performance (AC) bzw. performance nur bei absoluter Spitzenleistungsanforderung.bash # passive Mode aktiviert<br>echo balance_performance > /sys/devices/system/cpu/cpufreq/policy0/epp
CPU‑Freq‑Governor pro Prozessorkern manuell setzen (nur, wenn bestimmte Cores permanent mit niedrigerer Frequenz laufen sollen)Für spezielle Workloads (z. B. Batch‑Jobs auf dedizierten Knoten) kann das Festsetzen des Governors powersave den Energieverbrauch drastisch senken – allerdings zu Lasten der Latenz.bash sudo cpupower frequency-set -c 0-7 -g powersave
Turbo‑Boost (Core‑Performance‑Boost) deaktivieren oder begrenzenTurbo‑Boost erhöht die Frequenz auf Kosten höherer Spannung und Wärmeentwicklung. Das Deaktivieren oder Begrenzen des Maximal‑Takts spart Energie, wenn maximale Leistung nicht ständig benötigt wird.BIOS/UEFI → “Core Performance Boost” = Disabled oder “Maximum Turbo Frequency” auf einen niedrigeren Wert setzen.<br>Alternativ via cpupower:<br>sudo cpupower frequency-set -u 2.8GHz (maximaler Frequenzgrenzwert)
Package‑Power‑Limit (PPL) im BIOS senkenPPL begrenzt die maximale Leistung des gesamten Sockets. Ein niedrigeres Limit zwingt den Prozessor, früher in tiefere C‑States zu gehen und reduziert den durchschnittlichen Energieverbrauch bei gleichbleibender Last.BIOS → “Package Power Limit” oder “PPL” auf einen Wert < TDP (z.B. 180 W statt 200 W).
xGMI‑Link‑Width ManagementBei geringer Netzwerk‑/Interconnect‑Last kann das Herunterfahren von xGMI‑Lanes die Energie für den Interconnect sparen, ohne dass die CPU‑Leistung leidet.BIOS → “xGMI Link Width Control” = Manual, dann z.B. 8 Lanes (oder je nach Plattform 2).
SoC‑Efficiency‑Mode im BIOS aktivierenDer SoC‑Effizienzmodus passt dynamisch die Kern‑ und Fabric‑Taktwerte, um bei konstanter Last einen besseren Performance‑pro‑Watt zu erzielen. Für reine Durchsatzworkloads ist dies ideal.BIOS → “SoC Efficiency Mode” = Enabled.
Transparent Huge Pages (THP) verwendenTHP reduziert die Overhead der Page‑Table‑Walk und verbessert den Speicher‑Durchsatz, was weniger CPU‑Wakeup‑Zyklen bedeutet. Für Datenbanken oder andere speicherintensive Workloads ist dies empfehlenswert (Linux 6.x aktiviert THP standardmäßig).bash echo always > /sys/kernel/mm/transparent_hugepage/enabled
CPU‑C‑States im BIOS nicht einschränkenC‑States (z. B. C1, C3) erlauben es dem Prozessor, bei Leerlauf in tiefere Energiesparmodi zu gehen. Das BIOS sollte keine unnötigen Beschränkungen setzen (keine “C‑State Limit”).BIOS → “CPU C‑States” = Unlimited.
tuned Profil “throughput-performance” nutzentuned passt Kernel‑Parameter, CPU‑Governor, VM‑Einstellungen und I/O‑Scheduler automatisch für maximale Durchsatzleistung bei gleichzeitigem Energie‑Rücksicht. Es ist eine schnelle Methode, ohne jede Option manuell zu konfigurieren.bash sudo tuned-adm profile throughput-performance
cpufrequtils / cpupower Dienst aktiv haltenDer Daemon überwacht den CPU‑Governor und stellt sicher, dass Änderungen an der Leistungsklasse oder EPP auch nach einem Neustart bestehen bleiben.bash sudo systemctl enable --now cpupower.service

Praktische Schritt‑für‑Schritt‑Anleitung (Debian/Ubuntu‑basiert)​

  1. Aktiviere amd-pstate
    bash

    echo "amd_pstate" >> /etc/modules-load.d/amd_pstate.confsudo modprobe amd-pstate
  2. Setze den Governor auf schedutil und EPP auf balance_performance (AC‑Modus)
    bash

    sudo cpupower frequency-set -g schedutil # globaler Governorecho balance_performance | \ sudo tee /sys/devices/system/cpu/cpufreq/policy0/epp > /dev/null
  3. Deaktiviere Turbo‑Boost im BIOS (oder setze Max‑Freq auf 2,8 GHz)
    • Starte den Server neu → UEFI/BIOS → “Core Performance Boost” = Disabled.
  4. Senke das Package Power Limit (PPL) – Beispiel 180 W:
    bash

    echo 180000 | sudo tee /sys/devices/system/cpu/intel_pstate/max_perf_pct# (Für AMD spezifisch: BIOS‑Einstellung, siehe oben)
  5. Aktiviere SoC‑Efficiency‑Mode – im BIOS → “SoC Efficiency Mode” = Enabled.
  6. Optional: tuned Profil anwenden
    bash

    sudo tuned-adm profile throughput-performance
  7. Überprüfe die Ergebnisse mit powertop, cpupower‑frequency‑stats oder lm-sensors, um den tatsächlichen Energieverbrauch zu messen.

Warum diese Maßnahmen bei Zen 2 EPYC sinnvoll sind​

  • Zen 2 (Rome) unterstützt ACPI CPPC – das erlaubt die feinere Steuerung über amd-pstate und EPP.
  • Der Prozessor hat einen hohen Basistakt (>3 GHz) und kann mit Turbo‑Boost bis 4,7 GHz gehen; diese Dynamik lässt sich für Effizienzziele abdämpfen.
  • Die Plattform bietet BIOS‑Optionen (PPL, xGMI‑Link‑Width, SoC‑Efficiency), die ohne Kernel‑Patch direkt Energie einsparen.
  • Für viele Server‑Workloads läuft der CPU häufig unter 30 % Auslastung – hier hilft ein passiver amd-pstate mit EPP‑Balancing am meisten.
Zusammenfassend: Aktiviere amd-pstate, setze den Scheduler‑Governor auf schedutil, passe das EPP an, deaktiviere Turbo‑Boost oder begrenze die Maximal‑Frequenz und nutze BIOS‑Optionen wie PPL‑Senkung, SoC‑Efficiency‑Mode sowie xGMI‑Link‑Width Management. Diese Kombination reduziert den durchschnittlichen Energieverbrauch deutlich bei gleichzeitiger Aufrechterhaltung der gewünschten Leistungsfähigkeit für typische Datenbank‑ oder Batch‑Workloads auf Zen 2 EPYC Servern.
 
Ich habe 4 32GB Module und ja nur 1Gbit Netzwerk. Nein softwareseitig habe ich noch nichts gemacht.
 
Turbo deaktivieren um im Idle Strom zu sparen? Okay. Würd mir persönlich ja nicht in den Sinn kommen. Power Target ist auch eher für Last Szenarien interessant. Wird die CPU eingebremst, rechnet sie halt länger. Dürfte für den TE aber nicht wirklich relevant sein. Das macht man um thermischen Problemen entgegenzuwirken.

Ich lass bei den Serverplattformen immer alles auf default. Mit AMD habe ich da weniger Erfahrungen, obwohl ich Epyc auch schon in der Hand haben durfte. Und bald wieder eine im Lab steht um sie durchzuchecken. Da ist durchaus noch mehr drin als bei meinen Intel Plattformen.
 
Zuletzt bearbeitet:
Is auch nicht schlau, ebenso wie TDP begrenzen nix bringt.

Ist auch nur als Hinweis gedacht, in welcher Richtung man da noch schauen kann, das eine oder andere ist vielleicht dabei.
Wenn man noch gar nix gemacht hat in der Richtung, ist vielleicht ein bisschen ein Anhaltspunkt oder Startpunkt dabei.
z.B. sowas wie BIOS → “SoC Efficiency Mode” = Enabled. klingt für mich jetzt nicht soooo daneben, wenn vorhanden?
 
Wie kann ich Proxmox den Zeitgesteuert herunterfahren und auch wieder starten?
Das Herunterfahren sollte nicht so schwer sein. Leg z.B. einen Crontab an, der zu einer gewissen Uhrzeit einen Shutdown triggert. Hier gibts noch einige weitere Möglichkeiten --> https://www.vinchin.com/de/vm-tips/proxmox-auto-shutdown.html

Das Starten des Servers dürfte schwieriger werden. Sowas wie Wake on LAN oder Wake on RTC haben Serverboards oft nicht. Wobei laut Seite 16 des Handbuchs kann dein Board wohl RTC wake up, musst also mal im BIOS suchen, wo die das versteckt haben.

Ein anderer Ansatz wäre eine schaltbare Steckdose in Kombination mit einer BIOS Einstellung in der du dem Server sagst, was er tun soll, sobald er Strom bekommt. Vorteil dabei, da der Server komplett vom Strom getrennt wird, braucht auch das IPMI bei ausgeschaltetem Blech nichts.
Nachteil: Du kommst in der Zeit nicht aufs IPMI.

Und wo wir grade beim IPMI sind... Wenn du z.B. einen RasPi oder ähnliches im Dauerbetrieb hast, kannst du darauf IPMItool installieren und z.B. deinem Server via Crontab den Startbefehl senden. Der Server muss dafür aber dauerhaft am Strom hängen, damit sein IPMI online ist.
 
Klar, Proxmox hat ja schließlich nen Debian Unterbau. Kannst du dir einfach via apt installieren
 
Das ist schon eher am oberen Ende finde ich - mein Haupttserver mit 1xSSD und 10x normale HDD Xeon based 128 GB ECC braucht 89W idle - mit 4 HDD wäre der denke ich bei 60W.

Ich lasse die HDDs immer durchlaufen - schalte aber den ganzen Server aus, wenn 60 min niemand mehr drauf zugegriffen hat.

Ich starte per BIOS PowerOn after Loss mit schaltbarer Steckdose bei 10 GBit Karten ist WOL bei mir nur halb zuverlässig und die Onboardkarten sind stillgelegt wegen Strom.
Tasmota Steckdosen sind auch einfach per cron automatisierbar und wenn die Verbrauch messen geht auch problemlos ein AutoPoweroff wenn der heruntergefahren wurde.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh