Berliner Supercomputer nutzt Intels Cascade-Lake-AP-Prozessoren

Veröffentlicht am: von

intel-xeon-platinumDer Norddeutsche Verbund für Hoch- und Höchstleistungsrechnen (HLRN) hat einen neuen Teil seiner Supercomputer-Infrastruktur in Betrieb genommen. Der HLRN-IV besteht grundsätzlich aus zwei Einzelsystemen, die zusammenarbeiten können. Das in Göttingen stehende System hört auf den Namen Emmy, in Berlin steht Lise. Benannt sind die System nach der Physikerin Lise Meitner und der Mathematikerin Emmy Noether.

Die verwendete Hardware ist der interessante Aspekt im Lise-System, denn hier kommen Intel Xeon Platinum 9242 zum Einsatz, also Cascade-Lake-AP-Prozessoren. Diese wurden Anfang April 2019 vorgestellt und sind ein MCM-System, bestehend aus zwei Cascade-Lake-Prozessoren in einem Package.

Lise besteht aus 1.146 Nodes. Diese sind mit jeweils zwei Intel Xeon Platinum 9242 (CLX-AP) mit 48 Kernen (2x 24 Kerne in einem Package) bestückt. Insgesamt sprechen wir also von über 100.000 CPU-Kernen. 1.112 Nodes sind mit 384 GB Arbeitsspeicher bestückt (Standard Node), 32 Notes mit 786 GB (Large Node) und zwei Nodes mit 1,5 TB (Large Node). Für den Interconnect nutzt jeder Node einen Omni-Path Fabric Adapter.

Neun Logic-Nodes kümmern sich um die Infrastruktur und Kommunikation innerhalb des Supercomputers. Diese neun Nodes verwenden jeweils zwei Intel Xeon Silver 4210 (CLX) mit 20 Kernen. Zwei Prozessoren teilen sich hier 384 GB an Arbeitsspeicher. Die Omni-Path-Netzwerkkonfiguration besteht aus 2x 1.162 Ports für OPA100. Dazu verbaut sind 54 Switches mit 48 Ports. Die Bandbreite des Interconnects beträgt 14 TB/s (Bisectionsbandbreite) und die maximale Latenz beträgt 1,65 μs.

An Speichersystem vorhanden sind 2 x 8,1 PB an Netto-Speicherkapazität mit einer aggregierten Schreib- und Leseleistung von 81 GB/s. 2x 60 TB stehen für Snapshots und Systeminstallationen zur Verfügung. Hinzu kommen 2x 280 TB für Nutzerdaten.

» zur Galerie

Bereits 2018 in Betrieb genommen wurde Emmy. Dieses System setzt sich wie folgt zusammen:

Emmy besitzt bereits einen GPU-Knoten, soll aber weiter ausgebaut werden. Dieser GPU-Knoten besteht aus:

Das Gesamtsystem aus Emmy und Lise soll eine Rechenleistung von 16 PFLOPS erreichen können. Damit läge es knapp über den Top10 der Supercomputer weltweit. Lise alleine käme in etwa auf Platz 40.

Das HPC-Einhorn Cascade Lake-AP

Aufgebaut wurden die Systeme von Firma Atos/Bull und Lise ist sicherlich eines der wenigen Systeme, welches auf Cascade-Lake-AP-Prozessoren setzt. Die Kritik richtet sich hier vor allem an den Umstand, dass es die Xeon-Platinum-9200-Prozessoren nicht in einer gesockelten Variante gibt. Intel verkauft zusammen mit seinen OEMs und ODMs Referenzsysteme. Ein Xeon Platinum 9282 bringt es zwar auf 56 Kerne (2x 28 Kerne), benötigt dazu aber eine TDP von 400 W. Die nun in Berlin verwendeten Xeon Platinum 9242 kommen auf eben 48 Kerne bei einem Basis- und Boost-Takt von 2,3 bzw. 3,8 GHz innerhalb einer TDP von 350 W.

Die Preise für diese Prozessoren liegen deutlich im fünfstelligen Bereich. In den vergangenen Monaten deutete sich mehrfach an, dass Intel Schwierigkeiten hat, diese Modelle an den Mann zu bringen. Das HLRN dürfte einen ordentlichen Preisnachlass erhalten haben, um sich für die Xeon-Platinum-9242-Prozessoren zu entscheiden, denn allzu häufig sind diese bisher nicht vorzufinden. Etwa 30 Millionen Euro wurden in Berlin und Göttingen investiert.