> > > > AMD EPYC 7002 alias Rome im 2S-Server mit mehr PCIe-Lanes

AMD EPYC 7002 alias Rome im 2S-Server mit mehr PCIe-Lanes

Veröffentlicht am: von

amd-romeDen grundsätzlichen Aufbau der EPYC-Prozessoren der 2. Generation kennen wir. Es wird einen zentralen I/O-Die und acht Chiplets mit jeweils acht Zen-2-Kernen geben – insgesamt also 64 Kerne bei einer Vollbestückung. Die Zen-2-Architektur als solches wurde bisher nur grob umrissen. Unter anderem bekannt ist das Vorhandensein von nun vier 256 Bit breiten FPUs (Floating Point Units). Zudem hat man den Op-Cache vergrößert, den Instructions Cache reorganisiert und die gesamte Pipeline weiter optimiert. AMD spricht außerdem davon, pro Rechenoperation mit Zen 2 nur die halbe Leistungsaufnahme zu benötigen, was sicherlich auch der Fertigung in 7 nm geschuldet ist.

Noch große Fragezeichen gibt es beim Aufbau des Chiplet-Designs und der Anbindung der einzelnen Chips sowie dem Angebot an I/Os. Bekannt ist, dass AMDs EPYC-7002-Prozessoren PCI-Express 4.0 unterstützen werden – genau wie die Ryzen- und Ryzen-Threadripper-Prozessoren der 3. Generation. Damit verdoppelt AMD die Datenrate der zur Verfügung stehenden PCI-Express-Lanes. Aufgrund der Weiterverwendung des SP3-Sockel, wird es zudem bei 128 PCI-Express-Lanes für einen Single-Sockel-EPYC-Prozessor bleiben.

Damit bleibt AMD dem Konkurrenten Intel in dieser Hinsicht einen Schritt voraus, denn auch die Xeon-Scalable-Prozessoren der 2. Generation bieten weiterhin nur PCI-Express 3.0, im Falle eines Single-Socket-Systems derer 48, im Dual-Sockel 96 und mit einer entsprechenden Verdopplung für 4S und 8S eben 192 und 384. Wer also mehr als 100 PCI-Express-Lanes benötigt, muss bei Intel schon zu einem 4S-System greifen, während bei AMD ein Prozessor dazu ausreicht.

Patrick Kennedy von ServeTheHome hat in den vergangenen Wochen mit vielen Partnern von AMD gesprochen und ist in seiner Recherche offenbar zur Erkenntnis gelangt, dass AMD im Falle eines 2S-EPYC-Systems mit den Rome-Prozessoren die Anzahl der PCI-Express-Lanes noch wird steigern können.

Um die Geschwindigkeit von PCI-Express 3.0 auf 4.0 zu verdoppeln, muss AMD die interne Anbindung beschleunigen. Der Infinity-Fabric-Datenpfad muss die Datenraten für PCI-Express 4.0 also beherrschen. Derzeitigen Erkenntnissen nach, bietet der I/O-Die acht PCIe/IFIS-Controller (Infinity Fabric Inter Socket) mit verdoppelter Datenrate. Pro Controller können 16 PCI-Express-Lanes zur Verfügung gestellt werden. Für einen 1S-EPYC-Prozessor bedeutet dies 8x16 = 128 PCI-Express Lanes.

Für ein 2S-EPYC-System verwendete AMD jeweils vier der IFIS-Controller für die Anbindung der beiden Prozessoren untereinander. Jeweils vier Links werden zwischen den jeweils vier Dies hergestellt. Für die Anzahl der PCI-Express-Lanes bedeutete dies, dass es auch für ein 2S-EPYC-System bei insgesamt 128 PCI-Express-Lanes geblieben ist. Dies ist wie gesagt noch immer mehr als bei den aktuellen Xeon-Scalable-Prozessoren der 2. Generation.

Weniger Infinity Fabric Inter Socket – mehr PCI-Express-Lanes

Die höhere Datenrate durch PCI-Express 4.0 bzw. die damit verknüpfte höhere Datenrate des Infinity-Fabric-Inter-Socket-Verbindung ermöglicht es AMD weniger PCIe/IFIS-Controller für die Verbindung zweier EPYC-Prozessoren in einem 2S-System zu verwenden. Die Datenrate würde sich bei gleicher Anzahl (aktuell vier) an PCIe/IFIS-Controller verdoppeln. 

Die Anforderung an die Speicherbandbreite für Datenzugriffe von einem Sockel auf den Speicher des zweiten Sockels liegt bei 204,8 GB/s (ausgehend von Octa-Channel DDR4-3200). Zwei PCIe/IFIS-Controller liefern exakt diese 204,8 GB/s und wären damit ausreichend (2 x 16 x 25,6 x 2 / 8 = 204,8). Mit drei PCIe/IFIS-Controllern für den Interconnect würde sich AMD etwas Spielraum lassen und hätte dennoch einen PCIe/IFIS-Controller übrig.

Aus diesen Optionen ergibt sich eine gewisse Flexibilität für AMD und die Plattform-Anbieter in Form von Server- und Mainboardherstellern. Die EPYC-Prozessoren der 2. Generation sind Sockel-kompatibel zu bestehenden Systemen. Diese sind im 1S- und 2S-Betrieb auf 128 PCI-Express-Lanes ausgelegt, die sie auf unterschiedlichste Art und Weise nutzen. So sind acht Steckplätze mit den vollen 16 PCI-Express-Lanes ebenso bereits umgesetzt worden wie die 32 schnelle NVMe-SSDs mit jeweils vier Lanes. Hier kommt es einfach auf den Anwendungsbereich an.

Mit den EPYC-Prozessoren der 2. Generation ergibt sich nun die Option weiterhin bei 128 PCI-Express-Lanes zu bleiben oder etwas Inter-Socket-Bandbreite zu opfern und dafür die Anzahl der PCI-Express-Lanes weiter zu steigern. Offenbar haben genau das AMD und die Plattformpartner für den Start der nächsten EPYC-Prozessoren vor. Eine Steigerung von 128 auf 160 PCI-Express-Lanes klingt zunächst einmal nicht besonders berauschend, allerdings muss man sich vor Augen führen, dass wir auch vom Wechsel von PCI-Express 3.0 auf 4.0 sprechen. Um PCI-Express 4.0 unterstützen zu können, müssen die meisten Mainboards und Server in einer neuen Version erscheinen. In diese Zuge wäre auch eine Umstellung von 128 auf 160 PCI-Express-Lanes mehr als denkbar  – zumindest für bestimmte 2S-Systeme.

Neben der Verdopplung der Kerne pro Sockel und der neuen Zen-2-Architektur hat AMD also offenbar auch in anderen Teilbereichen noch einige Überraschungen in der Schublade.

Social Links

Ihre Bewertung

Ø Bewertungen: 5

Tags

Kommentare (7)

#1
Registriert seit: 20.12.2003
Karlsruhe
Kapitän zur See
Beiträge: 3364
Um bei Intel auf mehr als 100 Lanes zu kommen reicht ein 2S System aber nicht? Oder zählt ihr DMI mit?
#2
customavatars/avatar3377_1.gif
Registriert seit: 15.11.2002
www.twitter.com/aschilling
[printed]-Redakteur
Tweety
Beiträge: 31342
Zitat Sir Diablo;26890276
Um bei Intel auf mehr als 100 Lanes zu kommen reicht ein 2S System aber nicht? Oder zählt ihr DMI mit?


"muss bei Intel schon zu einem 4S-System greifen" - da steht vorher 2S-System, obwohl die Zahlen darüber richtig sind. Danke für den Hinweis!
#3
customavatars/avatar287074_1.gif
Registriert seit: 29.08.2018

Oberleutnant zur See
Beiträge: 1363
CCIX und Gen-Z werden auch unterstützt.

AMD könnte die beiden Sockel auch schneller als "nur" mit PCIe 4.0 Speed koppeln.
#4
customavatars/avatar44491_1.gif
Registriert seit: 08.08.2006
SN
Moderator
Beiträge: 34345
Wieso ist hier denn der Fokus so sehr auf PCIe??
PCIe kommt in 3.0 mit einer Bandbreite von ~16GB/s - real nutzbar durch 8b/10b 20% weniger davon. Die IFIS Bandbreite bei AMD Epyc liegt bei 38GB/s bidi - also bei 19GB/s pro Richtung. -> was in der Form nichts mit PCIe - sondern eher mit der RAM Taktung = Zusammenhang zur IF Taktung zu tun hat. Die IF hat intern die doppelte Bandbreite zum RAM. Bei 2666er Speicher ergibt sich 42 Komma irgendwas GB/s IFOP Bandbreite - macht durch Overhead (irgendwelches CRC Zeugs laut WikiChips) 8/9tel für IFIS -> ergibt besagte 38GB/s bidi.

Mit PCIe hat hier in erster Linie das Pinout und die Übertragungstechnik etwas gemein. Es sind 16Bit breite / 8 Transfers pro Taktung analog zu PCIe. Und natürlich der Fakt, dass man den Link in einem PCIe Modus auch fahren könnte/kann.
Würde man jetzt ganz stupide das Milchmädchen mal von einer 1:1 Verdopplung im Idealfall ausgehen - macht das eine overall Bandbreite bei 4x aktiven Links von 304GB/s pro Richtung.

Wie im Artikel vorgerechnet kommt die Speicherbandbreite allein in Spitzen auf ~200GB/s. Bei 64 aktiven PCIe 4.0 Lanes könnten da nochmal >100GB/s drauf kommen. Und dann ist immernoch nicht ein einziges Datenpaket Cacheinhalt übertragen wurden - oder irgend ein Core-Core traffic. Bei 4x Lanes wohlgemerkt.


Das jetzt noch weiter einzukürzen halte ich da für recht wenig sinnig.

Was mich auch bisschen wundert - in der Quelle ist vieles einfach nur ne Annahme - hätte wäre wenn usw. Absolut nichts konkretes. Man meint sogar, dass der 2x Link IF Weg nicht supportet sei - zum 3er Link Konstrukt gibts es weder eine Bestätigung noch ne Absage.
Das mMn verwertbarste an der Aussage ist dort eigentlich der Wink zu einer möglichen Änderung der Anbindung von Peripherie. Was real massiv Lanes sparen würde - die man dann auch andersweitig nutzen könnte. Die Nutzung mehr PCIe Lanes durch Einsparung von IFIS-Links halte ich für unwahrscheinlich. Technisch kein Ding der Unmöglichkeit wäre das nämlich auch mit Epyc schon gewesen... Hat man den Joker gezogen?? -> nö. Warum gerade jetzt?

Bei nur 2/4 Links zwischen den beiden Sockeln in einem fiktiven Epyc Setup wären immernoch nur zwei Hops vorhanden, wenn man anstatt zuerst über die IFIS -> IFOP den Spaß einfach umdreht. Erst über die IFOP -> IFIS. Nämlich zu dem Connector, der den Link zur zweiten CPU hat - und schon hätte man die Links frei für irgendwas.
#5
Registriert seit: 05.07.2010

Admiral
Beiträge: 17702
Zitat fdsonne;26890518
PCIe kommt in 3.0 mit einer Bandbreite von ~16GB/s - real nutzbar durch 8b/10b 20% weniger davon.
PCIe 3.0 x16 hat so 15,75 16GB/s brutto, pro Richtung, aber PCIe 3.0 hat eine 128b130b Bitkodierung und keine 8b10b und die ist bei den 15,75GB/s schon abgezogen. Aber die Bitcodierung ist ja nicht der einzige Overhead im Protokoll, jeder Layer des Protokollstacks macht einen eigenen Overhead und daher verliert man nochmal etwa so 20%.
#6
customavatars/avatar44491_1.gif
Registriert seit: 08.08.2006
SN
Moderator
Beiträge: 34345
stimmt, nicht 8b/10b - das war bis PCIe 2 - mein Fehler. Spielt für die Benennung als Beispiel, dass reiner RAM Traffic nicht der einzige Traffic durch die Fabric ist, aber eigentlich auch keine wirkliche Geige
#7
customavatars/avatar95761_1.gif
Registriert seit: 27.07.2008

Kapitän zur See
Beiträge: 3202
It´s a monster!
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • AMD Ryzen Threadripper 2990WX und 2950X im Test: Mit Vollgas an Intel vorbei

    Logo von IMAGES/STORIES/2017/AMD_THREADRIPPER_2950X

    Pünktlich zum ersten Geburtstag startet AMD den Ryzen-Threadripper-Generationswechsel. Und wie schon im Frühjahr beim Sprung von Ryzen 1 zu Ryzen 2 vertraut man auf zwei Dinge: mehr Kerne und einen geringeren Preis. Beide sollen dabei helfen, dem Dauerrivalen Intel im... [mehr]

  • Intel Core i9-9900K im Test: Acht Kerne mit Luxuszuschlag

    Logo von IMAGES/STORIES/2017/INTEL_CORE_I9-9900K

    Nach monatelangen Spekulationen und zahlreichen durchgesickerten Informationen hat Intel vor knapp zwei Wochen seine neunte Generation der Core-Prozessoren vorgestellt. Ins Rennen werden mit dem Core i5-9600K, Core i7-9700K und Core i9-9900K zunächst drei Modelle geschickt, die nicht nur... [mehr]

  • Intel mit eigenen Benchmarks zum i9-9900K, i9-9980XE und i9-9900X (5. Update)

    Logo von IMAGES/STORIES/2017/INTEL

    Am gestrigen Nachmittag präsentierte Intel die kommenden Produktlinien bei den Desktop-Prozessoren. Besonders interessant sind dabei natürlich die Core-Prozessoren der 9. Generation, die mit dem Core i9-9900K nun auch ein Modell mit acht Kernen und 16 Threads beinhalten. Im November wird es... [mehr]

  • AMD soll Ryzen 7 2800X mit 10 Kernen in Vorbereitung haben

    Logo von IMAGES/STORIES/2017/AMD_RYZEN_TEASER_100

    Auf der spanischen Seite El chapuzas Informatico ist ein Bild aufgetaucht, welches die Cinebench-Ergebnisse eines Ryzen 7 2800X zeigen soll. Derzeit lässt sich die Echtheit des Screenshots nicht bestätigen und bisher sind auch noch keine weiteren Informationen zu einem Ryzen 7 2800X... [mehr]

  • AMD Ryzen 3000: Acht Zen-2-Kerne mit PCIe 4.0 ab Mitte 2019

    Logo von IMAGES/STORIES/2017/RYZEN3000-CES19

    Neben der Vorstellung der Radeon Vega 7 als erste Gaming-GPU aus der 7-nm-Fertigung hat AMD eine Vorschau auf die Ryzen-Prozessoren der 3000er-Serie gegeben. Die als Matisse geführten Desktop-Prozessoren werden im Sockel AM4 Platz finden, basieren aber auf der neuen Zen-2-Architektur und bieten... [mehr]

  • Intel Coffee Lake Refresh: Overclocking-Check

    Logo von IMAGES/STORIES/2017/INTEL_CORE_I9-9900K

    Nach dem Start der neuen Generation der Intel-Core-Prozessoren stellt sich die Frage, wie es um die Overclocking-Eigenschaften bestellt ist. Erste Ergebnisse lieferte bereits der Test des Core i9-9900K. Doch wie schon in den vergangenen Jahren soll ein umfangreicher Check zeigen, an welchen... [mehr]