Gigabyte Z590i Aorus Ultra - Was letzte Stromspar-Einstellung?

[W0nderW0lf]

Hallo alle zusammen.

Ich bin nun seit einer Weile auf der Jagd nach einem Energie effizienten Server Build.
Als OS nutze ich dafür Unraid und habe bis jetzt damit gute Erfahrung gesammelt. Leider gibt es im Unraid-Forum wenige bis kaum Leute die ein ähnliches build haben wie ich.
Ich bin heute bei meiner Recherche auf einen Post gestoßen der schon etwas älter zu sein scheint, aber eventuell noch aktuell sein könnte.
Spamschutz?( Irgendwie muss man doch auf Posts im Forum verweisen können? hardwareluxx. de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/post-29270523)
Ich finde leider keine Beschreibung an welchen BIOS-Settings man sich orientiert haben könnte um über die C2-C3 hinaus zu kommen
Interessant ist vor allem der Aspekt, dass er beide m.2 Ports belegen konnte trotz der direkt angebundenen CPU lanes an den vorderen m.2 Port. Oft wird das als bottleneck für höhere C-states angesehen ( was bei mir derzeit der Fall zu sein scheint. )

Mein Build:
- i9 11900
- Z590i Aorus Ultra
- 2x G.Skill 16GB 3200mhz Trident Z
- Seasonic Focus SPX-650 (Platin certified)
- 6x 4TB Seagate Ironwolf HDD
- 1x Samsung Evo 980 1TB Evo NVME
- 1x Sandisk Extreme Pro 500GB NVME
- 1x ASM1166 (mit geflashter firmware für besseren powertop support)

Seitdem ich eine m.2 in den vorderen m.2 Port eingebaut habe, komme ich nicht mehr über die C2 (27-31W idle) hinaus. Vorher war ich auf max C3 (17-23w idle).
Unter Last verbrauche ich 60-82w je nach workload.

Ich würde es gerne vermeiden mir ein größeres Board zu holen bzw. ein neues Build zu planen, darum recherchiere ich verzweifelt woran es bei meinem System liegen könnte.

Meine BIOS Einstellungen kann man den screenshots hier entnehmen:

Ich würde mich über jede Hilfe freuen.

 

[Sassicaia]

Willkommen im Forum

ich betreibe auch noch ein Z590I Aorus Ultra, allerdings mit Bios F10 und ausschließlich als Office Maschine für Home Office, Citrix, SAP etc.

Im ersten M.2 mit Anbindung an die CPU ist eine SK Hynix Platinum SHPP41-1000GM und im rückseitigen M.2 auch eine SK Hynix, zusammen mit G.Skill 16GB 3200mhz und einem 11700K/11600K und einem 10 Jahre alten Seasonic Platinum Fanless SS-400FL², also nahezu vergleichbare Hardware. Selbst wenn ich hier im Forum lese/schreibe liegen immer die Package C-States C8 an und durchschnittlich schwankt die Energie zwischen 11W und 14W. Das sind Werte die mit Win 10, Win 11 und Debian 12 bis 13 erreicht werden.

Ich hatte bis 12/2024 auch eine Samsung 980 Pro 1TB NVMe im M_1, hatte aber nach dem Wechsel auf die SHPP41 und übertragen der Images, so wie du, auch ca. 4 - 5W mehr, ohne Änderungen im Bios. Das Erreichen der Package C-States war nach dem Wechsel instabiler, sprang oft auf C3 zurück und brauchte länger C3/C8/C10 zu erreichen. Nachdem diverse Änderungen im Bios nichts änderten, hab ich die Bios Batterie rausgenommen und das Bios manuell neu konfiguriert, identisch zu den vorherigen settings , et voila, alles wieder gut.

Zu Unraid kann ich nichts sagen, noch nie verwendet.

Deine Bios-Konfiguration entspricht meinen Bios-settings (was man auf den screenshots sehen kann), ein Unterschied ist lediglich, dass du Lan und ich nur Wlan verwende, wobei im Bios nichts deaktiviert ist und du noch einen PCIe-SATA-Controller-Chip von ASMedia für deine HDDs im Gra-ka-Slot betreibst.

Zumindest kann ich dir bestätigen, dass die Nutzung des ersten M_1 (an die CPU angebunden) grundsätzlich keinen negativen Effekt auf die Package C-States hat, was aber nicht allgemeingültig für alle Hardwarekombinationen ist.

 

[W0nderW0lf]

Hey vielen Dank das du dir die Zeit genommen hast und für dein Feedback.

Ich bin wirklich tagtäglich auf der Suche nach Hinweisen in meinem System die darauf schließen, dass die Hardware irgendwie zickt. Das du eine etwas ältere BIOS version verwendest ist interessant, aber ich denke nicht das der Downgrade hier großartig helfen würde. Vor einem ausbau der CMOS scheue ich mich, weil man dafür das komplette Board ausbauen und zerlegen muss (nervigste Angelegenheit bei ITX boards).

Vor der Samsung hatte ich eine SSD von Kioxia eingebaut und die hatte den gleichen verbrauch. Meine Samsung SSD hat auch eine neuere FW version als sie bei Samsung direkt verfügbar wäre. Also scheint als würde unabhängig vom Hersteller jede SSD den Verbrauch steigern.

Aber deine verwendeten Betriebssysteme bestätigen meine These. Ich wette wenn ich Windows installieren würde und alles OS seitig auf Energie sparen einstelle, könnte es funktionieren. Bei Debian bin ich mir unsicher, aber ich gehe davon aus, dass das bei mir bestimmt auch funktionieren könnte.

Ich habe das Gefühl das Unraid das nicht korrekt handled. Meine SSD's fungieren als Cache device und sind ständig in Benutzung. Auch wenn ich meine Docker Container/VM's deaktivere, bekomme ich die SSD's nicht offline. Ich hatte mir auch mal mein dmesg log angesehen und keine Fehler entdeckt, aber folgende Info's analysiert.

[    3.207150] nvme 0000:02:00.0: platform quirk: setting simple suspend         <-- dies könnte heißen (ich ignoriere den tiefschlaf für diese SSD)
[    3.207243] nvme nvme1: pci function 0000:02:00.0
[    3.207255] nvme nvme0: pci function 0000:08:00.0
[    3.216209] nvme nvme0: 16/0/0 default/read/poll queues
[    3.218728]  nvme0n1: p1
[    3.221735] nvme nvme1: D3 entry latency set to 8 seconds                    <-- Ich meide die D3(Hot/Cold) power zustände, für bis zu 8 sekunden. (Diese wären für den tiefschlaf relevant)
[    3.231602] nvme nvme1: allocated 64 MiB host memory buffer.
[    3.279170] nvme nvme1: 12/0/0 default/read/poll queues
[    3.286783]  nvme1n1: p1
[   79.541831] nvme nvme0: using unchecked data buffer

Das Betriebssystem managed offenbar die virtuellen Powerstate's die aber offenbar nicht auf die Hardware übertragen, sondern nur dargestellt werden.

root@NASty:~# nvme get-feature -f 2 -H /dev/nvme1
get-feature:0x02 (Power Management), Current value:0x00000004
    Workload Hint (WH): 0 - No Workload                                                              <--- keine workloads, heißt ist im leerlauf...
    Power State   (PS): 4                                                                                        <----  Laut der unteren Tabelle wäre der Verbrauch bei ca. 0,005w

root@NASty:~# smartctl -c /dev/nvme1n1
smartctl 7.5 2025-04-30 r5714 [x86_64-linux-6.12.54-Unraid] (local build)
=== START OF INFORMATION SECTION ===
Firmware Updates (0x16):            3 Slots, no Reset required
Optional Admin Commands (0x0017):   Security Format Frmw_DL Self_Test
Optional NVM Commands (0x0055):     Comp DS_Mngmt Sav/Sel_Feat Timestmp
Log Page Attributes (0x0f):         S/H_per_NS Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size:         512 Pages
Warning  Comp. Temp. Threshold:     82 Celsius
Critical Comp. Temp. Threshold:     85 Celsius
Namespace 1 Features (0x10):        NP_Fields
Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +     5.24W       -        -    0  0  0  0        0       0
 1 +     4.49W       -        -    1  1  1  1        0       0
 2 +     2.19W       -        -    2  2  2  2        0    6000
 3 -   0.0500W       -        -    3  3  3  3     6000    1500
 4 -   0.0050W       -        -    4  4  4  4     4000    9000

Faktisch aber kann keine SSD in einen wirklichen "tiefschlaf" versetzt werden, sondern werden mit dem höchsten hardware power_state betrieben. Siehe die dmesg ausgabe wegen d3 oben.

root@NASty:~# cat /sys/class/nvme/nvme1/device/power_state
D0                                                                                                                                               <-- um ins C3 oder höher zu kommen, müsste der hier in d3 wechseln können, was er aber nie tut.

root@NASty:~# nvme get-feature /dev/nvme0 -f 0xc -H
get-feature:0x0c (Autonomous Power State Transition), Current value:0x00000001
    Autonomous Power State Transition Enable (APSTE): Enabled

Anders kann ich es mir gerade auch nicht erklären. Ich habe es mit diesem Parameter versucht: nvme_core.default_ps_max_latency_us=0 aber keine Änderung.

Ach und ASPM ist natürlich auch bei beiden SSD's enabled.

08:00.0 Non-Volatile memory controller: Sandisk Corp SanDisk Extreme Pro / WD Black 2018/SN750/PC SN720 NVMe SSD (prog-if 02 [NVM Express])
        LnkCap:    Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller 980 (DRAM-less) (prog-if 02 [NVM Express])
        LnkCap:    Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
        LnkCtl:    ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+

 

[Sassicaia]

Vor einem ausbau der CMOS scheue ich mich, weil man dafür das komplette Board ausbauen

Du kannst auch den Jumper setzen (ohne NT), ich hatte es eh ausgebaut gehabt wegen Gehäusewechsel.

 

[W0nderW0lf]

Ups, vergessen zu antworten. Das mit dem Jumper hab ich wieder vergessen, obwohl ich den schonoft genug verwendet hab

Jedenfalls ich denke es liegt am Betriebssystem und habe mal einen bug reported in der Erwartung vom Entwickler ein statement dazu zu bekommen.

Danke nochmal für deine Zeit!

 

[hardwear]

Ich habe zwar ein Asus-Board (TUF Z590-PLUS WIFI), aber das sind die ASPM-Einstellungen, die bei mir funktionieren:
(siehe Anhängsel)

Ja, Native ASPM disabled. Klingt komisch, ist aber so.™ Unter 3 W komme ich erst nach 1x Ruhezustand und zurück, keine Ahnung wieso. Ich hatte mal 1.8-1.9 W auf dem Desktop, habe ich aber schon Jahre nicht mehr gesehen.

Es kann übrigens manchmal sinnvoll sein, nicht benötigte Onboard-Geräte erst vom Betrübssystem deaktivieren zu lassen. Das funktioniert sonst u.U. nicht richtig. Ich meine, mein Onboard-I225 war so ein Fall, kann mich aber auch irren...

PS -
Fährst du den RAM eigentlich in Gear 1 oder Gear 2? 3200 geht in Gear 1 meine ich nur mit erhöhter VCCSA. Bei 1,05 V macht Rocket Lake nur 2933 mit. Deswegen fahre ich das hier auch so mit entsprechend angezogenen Timings (bzw. geht das mit Standard-SPD-Riegeln automatisch, wie ich sie hier fahre; mit etwas Glück haben deine Riegel einen zweiten XMP-Satz für 3000). Hat bessere Performance als 3200 in Gear 2 und braucht nur minimal mehr.

Ich dachte übrigens schon, ich bin der einzige, der so bekloppt ist, Rocket Lake auf Ökoschleuder trimmen zu wollen. Das war seinerzeit etwas aus der Not geboren, weil ich vor 4 Jahren unbedingt einen neuen Rechner brauchte, Alder Lake aber noch recht grün hinter den Ohren war. Hatte vorher einen C2Q (naja, den Xeon-Gegenpart) auf LGA775 vor der Nase, da war das immer noch ein ganz schöner Fortschritt... Netzleistungsaufnahme auf dem Desktop hatte ich mal so 14,5 W (nur SSDs: 970 EVO Plus, 850 PRO; NT: BQ Straight Power 11 550W), muß ich mal wieder neu messen. (Gesagt, getan - ist etwas zappelig, aber um die 15 W schafft er immer noch. Daß das beim leichtesten Anflug von Last schnell mehr wird, sollte klar sein, ist ja schließlich Rocket Lake. Aber wenn ich hier so tippe, bleibt es meist noch deutlich unter 20 W.)

 

[W0nderW0lf]

Moin moin,

danke für deinen Input. Ich hatte im Keller eine i5 10600 rumfliegen gehabt und brauchte ein board um das irgendwie nutzen zu können. Irgendwann war mir die CPU zu schwach
Dachte aber nicht das Rocket Lake so widerspenstig sei...

Im Gegensatz zu deinem BIOS habe ich leider keine Möglichkeit das ASPM zu beeinflussen, außer zu sagen (native enabled/disabled).
Meine SSD's scheinen hier das Hauptproblem zu sein. Mit einer anderen Marke (Sandisk/WD) hatte ich kein problem in tiefere spar-modi zu wechseln.
Ich habe jetzt 3 verschiedene Samsung (2x 990 Pro und 980) ausprobiert und keine von denen schafft es bis auf die virtuell angegebenen Power State's auch tatsächlich in strom-spar modi zu wechseln.
Die Samsung's melden bei mir immer:

[    3.224540] nvme 0000:02:00.0: platform quirk: setting simple suspend  ## Das macht der nur im M2A_CPU port
[    3.239673] nvme nvme1: D3 entry latency set to 8 seconds ## 980 NVME
[    3.239673] nvme nvme1: D3 entry latency set to 10 seconds ## 990 Pro

Welches Betriebssystem nutzt du?

edit: hab den RAM vergessen. Ich nutze da immer das XMP Profil und der taktet auch auf 3200mhz. Ich dachte mir immer, es wäre einfacher das MB bzw das profil die richtigen timings für das ding festzulegen.
Ich habe mich noch nie mit dem "Gear Mode" auseinander gesetzt.