NUMA mit Threadripper - wie kann ich es einschalten?

[Kullberg]

Ich hab im BIOS meines ASRock Fatal1ty X399 Professional Gaming intensiv gesucht, aber nichts gefunden, womit man NUMA aktivieren kann. Kann mir jemand berraten, wie ich das einschalten kann?

 

[emperator]

Das geht aktuell nur über das Ryzen Master Tool

 

[Kullberg]

Oh je

 

[Sporck]

Und dann noch dran denken, dass du nach jedem Umstellen den Rechner noch neu starten musst.

 

[Kullberg]

Hab ich schon gemerkt Leider kriege ich merkwürdige Abstürze, bei viel Speicher (64GB) viele, bei weniger (32 GB) seltener
Memtest hat bei 32 GB keine Fehler gebracht. Jetzt läuft Memtest mit 64 GB. Meine Vermutung ist, dass W7 doch nicht so ganz kompatibel ist

 

[Phantomias88]

@Kullberg
An sich sollte die Funktion auch im UEFI vorhanden sein: Gamer Mode (NUMA)
Sind deine UEFI Einstellungen die selben wie im Handbuch (manual) die Bilder?
Meist kommen neue Einstellungen mit neuen UEFI Versionen hinzu.

Windows 7 Prof 64Bit ?

Edit: .net 4.7 installiert?
Download Microsoft .NET Framework 4.7 (Webinstaller) für Windows 7 SP1, Windows 8.1, Windows Server 2008 R2 SP1, Windows Server 2012, Windows Server 2012 R2 und Windows Server 2016 from Official Microsoft Download Center

 

[Kullberg]

W7 pro 64 Bit, ja. Scheint jetzt mit 64 GB stabil zu laufen.
Im UEFI hab ich mir nen Wolf gesucht und nix gefunden. NUMA hab ich jetzt über das Ryzen Master Tool eingeschaltet. Der Effekt: mit nem Schachprogramm, was das unterstützt kriege ich 8% mehr Leistung Allerdings ist es mir bisher nicht gelungen, das TDP Limit anzuheben. Im BIOS hab ich es auf 220W eingestellt, was keinerlei Effekt gezeigt hat
Ganz positiv übrigens: im Idle verbraucht der Rechner ~57W, deutlich weniger als man in Tests über das ASUS ROG Zenith Extreme gelesen hat. Allerdings ist der Rechner auch karg ausgestattet: 960 EVO, Radeon 6450, 4 x 16 GB ECC 2400er, Seasonic 660W platinum. Sonst nichts.

 

[butcher1de]

Die TDP bringt nichts einzustellen, das hatte ich auch probiert. Sobald du den Takt und die Vcore Manuell einstellst gilt die 180 Watt begrenzung nicht mehr. Schau mal im TR4 OC Thread, da habe ich meine Erfahrungen dazu geschrieben.

 

[Holt]

Kullberg, wie hast Du die Idle Leistungsaufnahme ermittelt, mit einem Energiemessgerät an der Steckdose oder durch Auslesen nur der Leistungsaufnahme der CPU?

Das Board hat aber natürlich eine großen Einfluss, sowohl auf die Leistungsaufnahme der CPU selbst als auch erst recht auf die des Gesamtsystems und gerade bei so neuen Systemen können neuere / unterschiedliche UEFI Versionen großen Einfluss auf die Idle Leistungsaufnahme haben. So hat Threadripper im Review bei HL 74,4W im Idle gebraucht und bei bei Computerbase 80W, aber interessanter sind die großen Unterschiede beim i9 7900X, denn während dessen System bei CB mit 77W kaum sparsamer war, hat das Testsystem welches HL für den i9 hatte damit nur 38,4W im Idle gezogen, also nur fast halb so viel! Das zeigt wie gewaltig der Einfluss des konkreten Testsystems gerade bei ganz neuen Plattformen auf die Idle Leistungsaufnahme sein kann. Mit der Zeit dürfte sich dies aber eher angleichen, wenn dann alle Boards die Energiesparoptionen nutzen und auch per Default aktivieren.

 

[Kullberg]

Ich messe nur mit nem relativ genauen Energiemessgerät (von Voltcraft am Bastelplatz, von ELV am Testplatz) an der Steckdose. Beide können auch power factor usw. anzeigen. Mein System mit I7-7820X verbraucht im Idle übrigens 46 W, für die Leistung, die es bringt finde ich zuviel. Ein Rechner mit Supermicro X10DAX und 2 Xeons E5-2696v4 verbraucht Idle 64 W - finde ich gut für das, was geboten wird. Und mein neuer Rechner mit 2 x E5-2696v4 und Asus Z10PE-D16 WS verbrät unbefriedigende 77 W, obwohl ich nur die Onboard Grafik gebrauche. Es liegt tatsächlich viel am Board.

 

[Phantomias88]

W7 pro 64 Bit, ja. Scheint jetzt mit 64 GB stabil zu laufen.
Im UEFI hab ich mir nen Wolf gesucht und nix gefunden. NUMA hab ich jetzt über das Ryzen Master Tool eingeschaltet. Der Effekt: mit nem Schachprogramm, was das unterstützt kriege ich 8% mehr Leistung Allerdings ist es mir bisher nicht gelungen, das TDP Limit anzuheben. Im BIOS hab ich es auf 220W eingestellt, was keinerlei Effekt gezeigt hat
Ganz positiv übrigens: im Idle verbraucht der Rechner ~57W, deutlich weniger als man in Tests über das ASUS ROG Zenith Extreme gelesen hat. Allerdings ist der Rechner auch karg ausgestattet: 960 EVO, Radeon 6450, 4 x 16 GB ECC 2400er, Seasonic 660W platinum. Sonst nichts.

Das ist nicht viel aber 8% ist auch keine Messtoleranz mehr.
Wenn das Thermal Modul aktiv ist, dann bringt dir das Power Limit selbst nichts.
Also mal schauen ob du die max CPU Temperatur festlegen kannst.
Bei den alten ASUS nennt sich das Menü DIGI+ Power Control.
Dort kann man Power Limit, Current Limit und Temperatur Limit für CPU, CPU-NB und RAM Einstellen.
Die Reaktionszeit der VRM sowie Frequenz der VRMs lassen sich auch anpassen.

Sry, wenns jetzt etwas zuviel auf einmal geworden ist.

P.S. 57W idle ist schon sehr gut! Die hälfte von meinem Big-Tower.

 

[Kullberg]

Es lag nicht am Temperaturlimit. Das Power Limit hab ich nun weg, da laufen alle Cores immer schön mit der gleichen Frequenz. OC hab ich momentan auf 3,8 GHz, mit prime geht wahrscheinlich nicht mehr - da verbrät er ~350W, beim Schach nur 230W. Momentan muss ich mich aber erstmal um meinen neuen Rechner mit 2x Xeon E5-2696v4 kümmern.

 

[Holt]

Die Idle Leistungsaufnahme ins Verhältnis zur Leistung des Rechner zu setzen finde ich total unsinnig, da im Idle ja keine Leistung abgefordert wird, stattdessen sollte man sie im Verhältnis zur Ausstattung des Boards sehen und da kostet z.B. IPMI wie Serverboards es haben, recht viel Idle Leistungsaufnahme. Da Server selten Idle sind, sind gerade bei Serverboards kaum eine eine geringe Idle Leistungsaufnahme optimiert.

 

[Kullberg]

Je mehr Power der Rechner hat, desto mehr Geld bringt er ein. Da muss ich schon rechnen, ob er nur seinen Stromverbrauch erwirtschaftet, oder mehr, oder ob er gar noch nichtmal die Stromkosten einbringt. Bei mir sind derzeit Rechner mit 2x Xeon E5-2690 (erste Generation) gerade an der Grenze, dass sie noch ihre Stromkosten einbringen. Die müssen also demnächst abgeschaltet werden. Wenn man wirschaftlich denkt, denkt man anders
Den Threadripper hab ich mir hauptsächlich gekauft, um zu extrapolieren, ob ich in Epyc investieren soll.

 

[Phantomias88]

Es lag nicht am Temperaturlimit. Das Power Limit hab ich nun weg, da laufen alle Cores immer schön mit der gleichen Frequenz. OC hab ich momentan auf 3,8 GHz, mit prime geht wahrscheinlich nicht mehr - da verbrät er ~350W, beim Schach nur 230W. Momentan muss ich mich aber erstmal um meinen neuen Rechner mit 2x Xeon E5-2696v4 kümmern.

Kein Power Limit, kein Temperatur Limit, also current Limt?
Sieht gut aus vom Verbrauch her.
DDR4-2666 kannst noch Versuchen, auch ECC RAM lässt sich übertakten, gerade die Infinty Fabric wird es dir danken.

 

[Holt]

Kullberg, gerade wenn die Rechner 24/7 Last machen, ist doch der Verbrauch im Idle total irrelevant, oder sind die Kisten bei Dir so oft Idle? Außerdem glaube nicht das man aus Threadripper viele Rückschlüsse auf EYPC zielen kann, dafür arbeiten beide bei zu unterschiedlichen Betriebspunkte, also Spannungen und Taktraten! Die Effizienz von EYPC sollte wegen dessen geringeren Takt dann also besser sein, sofern die SW die vielen Kerne effektiv auslasten kann, wobei man dies vermutlich schon mit Threadripper recht gut testen kann. Um die Effizienz testen solltest Du die Kerne auf knapp unter 3GHz takten und Spannungen entsprechend senken, dann dürften die Ergebnisse besser mit EPYC vergleichbar sein.

 

[Kullberg]

Die Rechner machen leider nicht 24/7 Last, sondern nur, wenn jemand die mietet. D.h., die weinger Beliebten sind 90% idle, die Besten haben vielleicht 40 - 50% Auslastung. Telweise laufen die aber mehr als 12h am Stück auf Vollast, von daher müssen die perfekt darauf ausgelegt sein. Es gibt halt keine Stufen dazwischen wie bei normalen Servern.
Klar kann ich Rückschlüsse ziehen von Threadripper auf Epyc. Es geht mir hauptsächlich darum, die maximale Leistung (nicht den Verbrauch) abzuschätzen, den ich mit nem 64 Core Epyc bei 2 bestimmten Schachprogrammen erreichen würde. Schach skaliert zumindest von der Anzahl der berechneten Positionen pro Sekunde perfekt linear mit der Anzahl der Cores und mit der Frequenz. Die Speicher Performance spielt bei neueren Systemen keine Rolle mehr, die war nur ein Problem zu So. 771 Zeiten. Das Einzige, was ich nicht sicher rausfinden kann, ist, inwieweit der Allcore Turbo bei Schach Vollast erreicht werden kann.
Der Stromverbrauch ist aber natürlich relevant, er entscheidet am Ende, wann ich ein System ausmustern muss.
Den Rechner mit dem Asus Z10PE-D16 WS konnte ich jetzt auf 68W idle runterkriegen - ich hab ein Seasonic Prime Titanium Netzteil eingebaut. Der Verbrauch unter Last ist von 436 auf 410W gesunken

 

[Phantomias88]

@Kullberg
Hast du den RAM Takt schon verglichen beim Threadripper mit Schach?
Gut möglich, dass es bei Intel nicht viel bringt, sobald der Speicher höher taktet ist auch der Inter-connect IF schneller.
Zudem sollen DDR4-2667 Standard sein mit 4 Speicher Modulen (Quad-Channel)

Vollast sollte jetzt nicht das Problem sein, es sein denn du nutzt entsprechend viele Threads, viel mehr als Kerne.

 

[Holt]

Wenn die Anwendung sehr gut über die Kerne skaliert, dann dürfte jeder Kern sehr unabhängig von den anderen an einem Teil des Problems auf seinen eigenen Daten arbeiten und wenig Kommunikation zwischen ihnen erfolgen. Dann spielt auch die Latenz der Fabric keine große Rolle, zumindest solange die Daten gut in den Cache passen und nicht viele RAM Zugriffe nötig sind.

 

[Phantomias88]

@Holt
Gut kombiniert!
Bei EPYC gibt es einen kleinen Vorteil (Bandbreite)
Das braucht nicht jeder, aber auch dieser hat 64 Lanes bzw. mindestens 48 Lanes für GPU´s only.
Die anderen 64 Lanes werden als MCM-Package Brücke genutzt. (Flex-cable)

 

[Kullberg]

Für Experimente mit dem Threadripper hatte ich noch keine Zeit, der Xeon hatte Vorrang - der muss Geld verdienen Alle Checks incl. Wärmebilder unter Last sind abgeschlossen und seit heute Abend ist er online. Am Wochenende kommt der Threadripper dran.

 

[Holt]

Das 8 Kanal RAMs dürfte bei Anwendungen die alle Kerne gut ausnutzen keinen Vorteil bringen, da ja auch doppelt so viele Kerne (sofern man die entsprechende CPU nimmt) auf diese RAM zugreifen und bei mehreren NUMA Nodes greift sowieso jeder nur auf das RAM an seinem Die zu, hat also auch nur ein Dual Channel RAM.

 

[Kullberg]

Stimmt genau. Bei den Xeon E5-2696v4 spielt es für Schach keine Rolle, ob 1, 2 oder 4 Channel belegt sind - die Unterschiede sind kaum messbar. Das beste Schachprogramm ist in Assembler geschrieben und hat nur eine Größe von 114 KB, da muss nicht viel im Speicher sein. Kritisch sind nur Zugriffe auf den hash table (Zugumstellungstabelle). Das sind allerdings sehr kurze Datensätze die von mehr Speicherkanälen nicht profitieren. Was allerdings böse Effekte hat, sind TLB misses. Deshalb muss man large pages verwenden, sonst verschenkt man 10 - 20% speed.

 

[timosu1985]

hey Kullberg hast das prob in den Griff bekommen mit NUMA? Hab vor eventuell das Board und CPU zu kaufen...

 

[Kullberg]

Naja, ich hab halt mit dem Ryzen Master Tool das eingeschaltet. Das funktioniert, auch wenn ich die Lösung nicht sauber finde.
Beim Threadripper ist das mit der Schach Performance übrigens ganz anders als beim Xeon. Da bringt hoher RAM Takt ne Menge.