[Sammelthread] Die sparsamsten Systeme (<30W Idle)

[°Leon°]

Ich habe von der 6ten Generation Celeron, i5 6500 und i7 6700 da. Mainboard ist von Sophos die XG330 (xg210 und xg430 sind auch vorhanden)
Bisher hab ich ein NT von FSP, Enhance beides 1u und ein altes Xilence SFX 250W Bronze getestet. Die idle Unterschiede waren enorm. Das Xilence hat die niedrigsten Verbräuche.
Gemesen mit OPNsense.war ich bei 19W, 6700k und 1*8GB, nichts deaktiviert im Bios.
Mit Linux Arch braucht das System 15W(powertop auto). Vielleicht kein fairer Vergleich, da bei opnsense( auch versucht Strom zu sparen) vermutlich mehr läuft.
Die beiden anderen brauchen 2-3W(Enhance ENP7500er) bzw. 4-5W beim FSP150-50lg
Ich überleg mir das HDPlex250 zu kaufen. Vielleicht sind hier noch ein paar watt drinnen.

 

[Kuzorra]

Die beiden anderen brauchen 2-3W(Enhance ENP7500er) bzw. 4-5W beim FSP150-50lg

....mehr - oder?

Sonst würde der Teil ja keinen Sinn ergeben....

Das Xilence hat die niedrigsten Verbräuche [..]
bei 19W [..]
15W(powertop auto).

 

[°Leon°]

Ja mehr. Alles in OpenSen
Xilence:19,5W
Enhance:23W
FSP:26,5W

Werde da aber nochmal einen richtigen Vergleich machen
FSP,Enhance,Xilence und die drei Prozessoren

 

[Yankee-RuS]

Was mein Ihr, bekommt man diese Komponente auf unter 10 Watt Idle (vielleicht sogar unter 8 Watt hmm) unter Proxmox?

Intel Ultra 265K auf TDP 35Watt gedrosselt
2x 32GB DDR5 RAM
MSI B860I itx Board
NVME 2TB Samsung 990
Netzteil HDPLEX 250W GaN

 

[Luckyhardware]

Zur Doku ;-)

Home-Server (Headless):
i3 10100T
AsRock H470m-itx/ac
16GB DDR4 2666 (1 Stick)
1 Gb Intel 219 Lan
2 x WD SA500 4TB
1 x Samsung 870 EVO 4TB
1 x 1 TB NoName SATA SSD
1 x 256GB Kioxia PCIe SSD (Im PCIe Slot via Sabrent Adapter)
PicoPSU 90W + Leicke 90W NT
OS: TrueNAS
2 Docker Container am laufen
SMB Shares eingerichtet und verbunden

Ca. 4,7W idle (C7)

 

[oNyX`]

Nette Werte, vorallem für TrueNAS. Wobei meine Erinnerung BSD TrueNAS ist.

 

[Matthias182]

Hallo zusammen,

ich habe bei mir einen kleinen Heimserver mit Proxmox am Laufen, der Dank der Hilfe hier aus dem Forum bisher im IDLE etwa 30W gezogen hat.

Seit dem letzten Proxmox Update (mutmaßlich) sind das nun 60W im IDLE und ich bin ratlos woher das kommt.

LSPCI -vv

Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
        Subsystem: Micro-Star International Co., Ltd. [MSI] RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 19
        IOMMU group: 12
        Region 0: I/O ports at 3000 [size=256]
        Region 2: Memory at 81204000 (64-bit, non-prefetchable) [size=4K]
        Region 4: Memory at 81200000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [70] Express (v2) Endpoint, MSI 01
                DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 10W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 128 bytes, MaxReadReq 4096 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend+
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 2.5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Via message/WAKE#, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [b0] MSI-X: Enable+ Count=4 Masked-
                Vector table: BAR=4 offset=00000000
                PBA: BAR=4 offset=00000800
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Virtual Channel
                Caps:   LPEVC=0 RefClk=100ns PATEntryBits=1
                Arb:    Fixed- WRR32- WRR64- WRR128-
                Ctrl:   ArbSelect=Fixed
                Status: InProgress-
                VC0:    Caps:   PATOffset=00 MaxTimeSlots=1 RejSnoopTrans-
                        Arb:    Fixed- WRR32- WRR64- WRR128- TWRR128- WRR256-
                        Ctrl:   Enable+ ID=0 ArbSelect=Fixed TC/VC=ff
                        Status: NegoPending- InProgress-
        Capabilities: [160 v1] Device Serial Number 01-00-00-00-68-4c-e0-00
        Capabilities: [170 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [178 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=317440ns
                L1SubCtl2: T_PwrOn=150us
        Kernel driver in use: r8169
        Kernel modules: r8169

Mein Verdacht ist, dass mein Realtek NIC den ASPM verhindert.

Könnt ihr mir da einmal helfen, wie ich das Problem genauer lokalisieren kann?


Gruß
Matthias

 

[Luckyhardware]

Moin,

benutze selbst Bare Metal TrueNas, aber ggf. funktionieren die Befehle auch bei dir:

Am Anfang einfach mal powertop anschmeißen und schauen in welchem C-State du hängst. Ggf. --auto-tune nutzen um die "bestmöglichen" Einstellungen zu haben

Anschließend zum identifizieren vom ASPM Status:
sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM |Disabled;|Enabled; )'

Zum "erzwingen" das ASPM aktiviert ist
echo 1 | sudo tee /sys/bus/pci/devices/0000:0X:00.0/link/l1_aspm

Best,
Lucky

 

[Matthias182]

Danke für die Antwort.

Powertop, auch mit auto-tune habe ich probiert, bringt keine Verbesserung.

LSPCI:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 05) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <4us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.3 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Shenzhen Longsys Electronics Co., Ltd. Lexar NM790 NVME SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Das "erzwingen" habe ich gerade ausprobiert, mal sehen, was das bringt.

 

[Luckyhardware]

Hast du ASPM für den Ethernet Controller (03:00.0) aktiviert bekommen?

Danach sollte auch 1c.3 auf "enabled" gehen.

Kannst ja mal posten was Powertop anschließend erzählt.

 

[Matthias182]

Ja, der Controller scheint jetzt ASPM aktiviert zu haben:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 05) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <4us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.3 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Shenzhen Longsys Electronics Co., Ltd. Lexar NM790 NVME SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Leider ist der Verbrauch immer noch bei ~45W im IDLE. Das war vorher immer noch besser.

und lt. Powertop erreicht das Package immer noch keinen C-State:

 

[Luckyhardware]

Das wir 30W mit dem Einschalten von ASPM sparen war jetzt auch eher unwahrscheinlich, aber 15W ist schonmal sehr gut.

Hast du VMs, Container, sonstige Apps oder SMB-Shares laufen?

Falls ja, schalte alle mal ab und schau ob du ohne Services/Apps C-States erreichst.

P.S. CPU Core 0, 2 und 6 sind halt schon auffällig und die dazugehörigen C-States

 

[MPC561]

ASPM Enabled ist mitunter nur die halbe Miete.

Schaut man sich die Register dahinter mal an gibt es zwei. Eines für L1 und eines für L0s. Sieht man auch oben im Screenshot schön. da steht bei "LnkCap" L1 und L0s.
Manchmal mag es das device nicht wenn L0s und L1 als capable gesetzt ist. Dann will es nur L1 (meistens) oder nur L0s. Dann sollte man mal das kleinere der beiden Register das für L0s steht auf 0 lassen.

Sprich, ich mache das unter Unraid mit setpci Befehlen Die hängen davon ab wieviele PCIe Devices verbaut sind, vom Board selber etc.:

Alle Adressen/Wetre da sind irrelevant ausser die 0x43. Hier sind L1 und L0s aktiviert. Würde ich nur L1 wollen müsste der Wert 0x42 sein, bei nur L0s 0x41.

Wie man das jetzt in Proxmox so einstellt. Irgendwo im startup:
setpci - s 00:1c.3 0x50.B=0x42
setpci - s 02:00.0 0x50.B=0x42
oder halt 0x41 bei beiden für nur L0s

Zumindest nach den PCIe Adressen die da oben stehen wären die Werte so. Zumindest wenn es ein nicht zu exotischer Realtek ist. Sonst müsste man auch noch die 0x50 überprüfen ob die Adresse die richtige ist.

Keine Ahnung ob das über ein Treiberconfigfile nicht noch effizienter und vor allem unabhängiger von den PCIe Adressen geht.