Gigabyte Z590i Aorus Ultra - Was letzte Stromspar-Einstellung?

[W0nderW0lf]

Hallo alle zusammen.

Ich bin nun seit einer Weile auf der Jagd nach einem Energie effizienten Server Build.
Als OS nutze ich dafür Unraid und habe bis jetzt damit gute Erfahrung gesammelt. Leider gibt es im Unraid-Forum wenige bis kaum Leute die ein ähnliches build haben wie ich.
Ich bin heute bei meiner Recherche auf einen Post gestoßen der schon etwas älter zu sein scheint, aber eventuell noch aktuell sein könnte.
Spamschutz?( Irgendwie muss man doch auf Posts im Forum verweisen können? hardwareluxx. de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/post-29270523)
Ich finde leider keine Beschreibung an welchen BIOS-Settings man sich orientiert haben könnte um über die C2-C3 hinaus zu kommen
Interessant ist vor allem der Aspekt, dass er beide m.2 Ports belegen konnte trotz der direkt angebundenen CPU lanes an den vorderen m.2 Port. Oft wird das als bottleneck für höhere C-states angesehen ( was bei mir derzeit der Fall zu sein scheint. )

Mein Build:
- i9 11900
- Z590i Aorus Ultra
- 2x G.Skill 16GB 3200mhz Trident Z
- Seasonic Focus SPX-650 (Platin certified)
- 6x 4TB Seagate Ironwolf HDD
- 1x Samsung Evo 980 1TB Evo NVME
- 1x Sandisk Extreme Pro 500GB NVME
- 1x ASM1166 (mit geflashter firmware für besseren powertop support)

Seitdem ich eine m.2 in den vorderen m.2 Port eingebaut habe, komme ich nicht mehr über die C2 (27-31W idle) hinaus. Vorher war ich auf max C3 (17-23w idle).
Unter Last verbrauche ich 60-82w je nach workload.

Ich würde es gerne vermeiden mir ein größeres Board zu holen bzw. ein neues Build zu planen, darum recherchiere ich verzweifelt woran es bei meinem System liegen könnte.

Meine BIOS Einstellungen kann man den screenshots hier entnehmen:

Ich würde mich über jede Hilfe freuen.

 

[Sassicaia]

Willkommen im Forum

ich betreibe auch noch ein Z590I Aorus Ultra, allerdings mit Bios F10 und ausschließlich als Office Maschine für Home Office, Citrix, SAP etc.

Im ersten M.2 mit Anbindung an die CPU ist eine SK Hynix Platinum SHPP41-1000GM und im rückseitigen M.2 auch eine SK Hynix, zusammen mit G.Skill 16GB 3200mhz und einem 11700K/11600K und einem 10 Jahre alten Seasonic Platinum Fanless SS-400FL², also nahezu vergleichbare Hardware. Selbst wenn ich hier im Forum lese/schreibe liegen immer die Package C-States C8 an und durchschnittlich schwankt die Energie zwischen 11W und 14W. Das sind Werte die mit Win 10, Win 11 und Debian 12 bis 13 erreicht werden.

Ich hatte bis 12/2024 auch eine Samsung 980 Pro 1TB NVMe im M_1, hatte aber nach dem Wechsel auf die SHPP41 und übertragen der Images, so wie du, auch ca. 4 - 5W mehr, ohne Änderungen im Bios. Das Erreichen der Package C-States war nach dem Wechsel instabiler, sprang oft auf C3 zurück und brauchte länger C3/C8/C10 zu erreichen. Nachdem diverse Änderungen im Bios nichts änderten, hab ich die Bios Batterie rausgenommen und das Bios manuell neu konfiguriert, identisch zu den vorherigen settings , et voila, alles wieder gut.

Zu Unraid kann ich nichts sagen, noch nie verwendet.

Deine Bios-Konfiguration entspricht meinen Bios-settings (was man auf den screenshots sehen kann), ein Unterschied ist lediglich, dass du Lan und ich nur Wlan verwende, wobei im Bios nichts deaktiviert ist und du noch einen PCIe-SATA-Controller-Chip von ASMedia für deine HDDs im Gra-ka-Slot betreibst.

Zumindest kann ich dir bestätigen, dass die Nutzung des ersten M_1 (an die CPU angebunden) grundsätzlich keinen negativen Effekt auf die Package C-States hat, was aber nicht allgemeingültig für alle Hardwarekombinationen ist.

 

[W0nderW0lf]

Hey vielen Dank das du dir die Zeit genommen hast und für dein Feedback.

Ich bin wirklich tagtäglich auf der Suche nach Hinweisen in meinem System die darauf schließen, dass die Hardware irgendwie zickt. Das du eine etwas ältere BIOS version verwendest ist interessant, aber ich denke nicht das der Downgrade hier großartig helfen würde. Vor einem ausbau der CMOS scheue ich mich, weil man dafür das komplette Board ausbauen und zerlegen muss (nervigste Angelegenheit bei ITX boards).

Vor der Samsung hatte ich eine SSD von Kioxia eingebaut und die hatte den gleichen verbrauch. Meine Samsung SSD hat auch eine neuere FW version als sie bei Samsung direkt verfügbar wäre. Also scheint als würde unabhängig vom Hersteller jede SSD den Verbrauch steigern.

Aber deine verwendeten Betriebssysteme bestätigen meine These. Ich wette wenn ich Windows installieren würde und alles OS seitig auf Energie sparen einstelle, könnte es funktionieren. Bei Debian bin ich mir unsicher, aber ich gehe davon aus, dass das bei mir bestimmt auch funktionieren könnte.

Ich habe das Gefühl das Unraid das nicht korrekt handled. Meine SSD's fungieren als Cache device und sind ständig in Benutzung. Auch wenn ich meine Docker Container/VM's deaktivere, bekomme ich die SSD's nicht offline. Ich hatte mir auch mal mein dmesg log angesehen und keine Fehler entdeckt, aber folgende Info's analysiert.

[    3.207150] nvme 0000:02:00.0: platform quirk: setting simple suspend         <-- dies könnte heißen (ich ignoriere den tiefschlaf für diese SSD)
[    3.207243] nvme nvme1: pci function 0000:02:00.0
[    3.207255] nvme nvme0: pci function 0000:08:00.0
[    3.216209] nvme nvme0: 16/0/0 default/read/poll queues
[    3.218728]  nvme0n1: p1
[    3.221735] nvme nvme1: D3 entry latency set to 8 seconds                    <-- Ich meide die D3(Hot/Cold) power zustände, für bis zu 8 sekunden. (Diese wären für den tiefschlaf relevant)
[    3.231602] nvme nvme1: allocated 64 MiB host memory buffer.
[    3.279170] nvme nvme1: 12/0/0 default/read/poll queues
[    3.286783]  nvme1n1: p1
[   79.541831] nvme nvme0: using unchecked data buffer

Das Betriebssystem managed offenbar die virtuellen Powerstate's die aber offenbar nicht auf die Hardware übertragen, sondern nur dargestellt werden.

root@NASty:~# nvme get-feature -f 2 -H /dev/nvme1
get-feature:0x02 (Power Management), Current value:0x00000004
    Workload Hint (WH): 0 - No Workload                                                              <--- keine workloads, heißt ist im leerlauf...
    Power State   (PS): 4                                                                                        <----  Laut der unteren Tabelle wäre der Verbrauch bei ca. 0,005w

root@NASty:~# smartctl -c /dev/nvme1n1
smartctl 7.5 2025-04-30 r5714 [x86_64-linux-6.12.54-Unraid] (local build)
=== START OF INFORMATION SECTION ===
Firmware Updates (0x16):            3 Slots, no Reset required
Optional Admin Commands (0x0017):   Security Format Frmw_DL Self_Test
Optional NVM Commands (0x0055):     Comp DS_Mngmt Sav/Sel_Feat Timestmp
Log Page Attributes (0x0f):         S/H_per_NS Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size:         512 Pages
Warning  Comp. Temp. Threshold:     82 Celsius
Critical Comp. Temp. Threshold:     85 Celsius
Namespace 1 Features (0x10):        NP_Fields
Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +     5.24W       -        -    0  0  0  0        0       0
 1 +     4.49W       -        -    1  1  1  1        0       0
 2 +     2.19W       -        -    2  2  2  2        0    6000
 3 -   0.0500W       -        -    3  3  3  3     6000    1500
 4 -   0.0050W       -        -    4  4  4  4     4000    9000

Faktisch aber kann keine SSD in einen wirklichen "tiefschlaf" versetzt werden, sondern werden mit dem höchsten hardware power_state betrieben. Siehe die dmesg ausgabe wegen d3 oben.

root@NASty:~# cat /sys/class/nvme/nvme1/device/power_state
D0                                                                                                                                               <-- um ins C3 oder höher zu kommen, müsste der hier in d3 wechseln können, was er aber nie tut.

root@NASty:~# nvme get-feature /dev/nvme0 -f 0xc -H
get-feature:0x0c (Autonomous Power State Transition), Current value:0x00000001
    Autonomous Power State Transition Enable (APSTE): Enabled

Anders kann ich es mir gerade auch nicht erklären. Ich habe es mit diesem Parameter versucht: nvme_core.default_ps_max_latency_us=0 aber keine Änderung.

Ach und ASPM ist natürlich auch bei beiden SSD's enabled.

08:00.0 Non-Volatile memory controller: Sandisk Corp SanDisk Extreme Pro / WD Black 2018/SN750/PC SN720 NVMe SSD (prog-if 02 [NVM Express])
        LnkCap:    Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller 980 (DRAM-less) (prog-if 02 [NVM Express])
        LnkCap:    Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+

 

[Sassicaia]

Vor einem ausbau der CMOS scheue ich mich, weil man dafür das komplette Board ausbauen

Du kannst auch den Jumper setzen (ohne NT), ich hatte es eh ausgebaut gehabt wegen Gehäusewechsel.