Seite 2: Intel Optane DC Persistent Memory

Ein großer Fokus der Xeons auf Basis der Cascade-Lake-Architektur liegt auf der Unterstützung des Optane DC Persistent Memory. Bereits seit einigen Monaten macht Intel deutlich, dass die Verwendung von Optane DC Persistent Memory eine zentrale Rolle für der Cascade-Lake-Xeons spielen wird.

Ursprünglich geplant war die Verwendung von Optane DC Persistent Memory wohl auch schon mit den Skylake-SP-Prozessoren in der Purley-Plattform, letztendlich ausgeführt wird es aber erst mit den Cascade-Lake-Prozessoren. Da die Plattform aber bereits darauf vorbereitet ist, verfügen viele Server und Mainboards über die entsprechende Anzahl an DIMM-Steckplätzen, um die zusätzlichen Module für den Optane DC Persistent Memory aufzunehmen. Die Skylake-SP-Prozessoren und die dazugehörige Purley-Plattform konnte Intel zudem als Entwickler-Plattform für die Verwendung des Optane DC Persistent Memory verwenden.

Der Optane DC Persistent Memory ist das letzte fehlende Bindeglied in der von Intel viel zitierten Speicherpyramide. In Abhängigkeit von der Wichtigkeit der Daten und wie schnell auf diese zugegriffen werden soll, liegen sie auf unterschiedlichen Speichermedien.

Während wir für das Speicher-Subsystem von Nano- und Picosekunden für Cache-Zugriffe sprechen, können inzwischen mehrere hundert Gigabyte oder gar Terabyte an Daten im Arbeitsspeicher abgelegt werden. Die Zugriffszeiten liegen hier bei mindestens 100 ns. Die schnellen Optane DC SSDs bieten mehrere Terabyte an Kapazität, sind mit 10 ms aber vergleichsweise langsam. Dies setzt sich für Standard-SSDs, 3D NAND SSDs und HDDs entsprechend fort.

Am besten wäre es natürlich alles auf einer Art Ramdisk abzulegen, doch DRAM-Speicher ist teuer und in Servern knapp bemessen. Der Optane DC Persistent Memory schließt die Lücke zwischen DRAM und den Optane DC SSDs. Im Grunde sprechen wir hier also von einer Art Ramdisk.

Der Optane DC Persistent Memory soll sich in der Integration in der Plattform dadurch auszeichnen, dass es für den Anwender und Administrator letztendlich keine Rolle spielt, wie groß der Anteil an DRAM und Optane DC Persistent Memory nun genau ist. Darum kümmert sich der Speichercontroller, der über die gleichen physikalischen Verbindungen mit dem DRAM und dem Optane DC Persistent Memory kommunizieren kann.

Maximal die Hälfte der DIMM-Steckplätze kann mit Optane DC Persistent Memory bestückt werden (pro Kanal jeweils ein DRAM und ein DC Memory). Der Speicher wird in DIMMs mit einer Kapazität von 128, 256 und 512 GB verfügbar sein. Der maximaler Speicherausbau beläuft sich aktuell auf 6x 128 GB DDR4 + 6x 512 GB Optane DC Persistent Memory also insgesamt 3,84 TB pro Sockel. Sobald die entsprechenden DDR4-Module verfügbar sind, werden einige Xeon-Prozessoren auch 256 GB DDR4-Module unterstützen. Dann wären pro Sockel 4,5 TB möglich. In der Bestückung der Steckplätze ist darauf zu achten, dass der Optane DC Persistent Memory näher am Speichercontroller sitzt, als dies für den DRAM des gleichen Speicherkanals der Fall ist.

Es gibt Unterschiede in der Art und Weise, wie die Applikationen mit einer gemischten Bestückung aus DRAM und Optane DC Persistent Memory umgehen bzw. diesen ansprechen. Im App Direct Mode erfolgt eine dedizierte Auslegung der Zugriffe auf den Speicher. Intel hat dazu ein Standard Programming Model entwickelt, über das alle Applikationen im App Direct Mode mit dem Optane DC Persistent Memory sprechen.

Im zweiten Modus, dem Storage over App Direkt, wird der Optane DC Persistent Memory wie eine SSD oder HDD behandelt. Es gibt Blockgrößen und Dateisysteme, mit denen die Daten auf den Speicher geschrieben und davon gelesen werden können. Zudem gibt es noch einen Mixed Mode, in dem bestimmte Speicherkanäle jeweils unterschiedlich angesprochen werden können.

Für die Kommunikation mit dem Optane DC Persistent Memory wird das DDR-T Protokoll verwendet. Zugriffe auf den Optane DC Persistent Memory laufen immer über den DRAM. Dieses ist elektrisch und mechanisch identisch zum DDR4-Interface. Alle Daten werden im flüchtigen und nichtflüchtigen Speicher verschlüsselt abgelegt. Der dazugehörige Key befindet sich ausschließlich auf dem DIMM. Der Key wird bei jedem Boot und bei jedem Verlust an Versorgungsspannung verworfen und erneut erstellt. Somit sollen nicht berechtigte Speicherzugriffe über eine mechanische Manipulation verhindert werden.

Die Module mit Optane DC Persistent Memory sind nicht gerade sparsam, lassen sich in ihrem Verbrauch und damit in der Leistung aber konfigurieren. Zwischen 12 bis 18 W sind in 0,25-W-Schritten einstellbar. Abhängig von den jeweiligen Zugriffen auf den Speicher (lesen/schreiben) und der Konfiguration der Leistung liegt die Bandbreite zwischen 0,73 und 8,3 GB/s für ein DIMM.

Leistungswerte des Optane DC Persistent Memory

Neben der Leistung des Speichers stellt sich natürlich die Frage nach dessen Haltbarkeit. Laut Intel sind die Module des Optane DC Persistent Memory auf eine PBW (Petabyte Written) von etwas mehr als 200 bis über 350 PBW ausgelegt. Die Auslegung erfolgt auf einen dauerhaften Betrieb für fünf Jahre und ist abhängig vom jeweiligen Anwendungsfall. Je größer der Anteil der gelesenen Daten ist, desto höher ist die PBW. Es besteht auch eine Abhängigkeit zwischen der Lebensdauer und der Kapazität und dem Betriebsmodi hinsichtlich der Leistung bzw. Leistungsaufnahme. Obige Werte sind für den mittleren Bereich von 15 W pro Modul berechnet. Werden sie mit nur 12 W betrieben, sollen sie entsprechend länger halten.

Obiges Diagramm veranschaulicht noch einmal die Position des Optane DC Persistent Memory im Speichersystem. Die Latenzen sind durch die Bank besser als bei den Optane DC SSDs und klassischen NAND SSDs, doch diese haben bei großen Blöcken (4 KB) einen Vorteil hinsichtlich der Datenraten, den sie bei kleineren Blöcken (64 Bytes und 256 Bytes) natürlich gegenüber dem Optane DC Persistent Memory auch wieder verlieren. Die feinere Granularität in den Daten und der schnelle Zugriff darauf spielen also eine wichtige Rolle für den Einsatz von Optane DC Persistent Memory.

Wie bereits erwähnt erfolgen Zugriffe auf den Optane DC Persistent Memory  immer über den DRAM. Die Datenrate des Speichers ist aber extrem von der jeweiligen Anwendung abhängig. Steigt bei gewünschter Bandbreite die Missrate, bleibt die Bandbreite bei 16 und 40 GB/s relativ stabil. Bei 110 GB/s steigt die Missrate aber deutlich an und die gewünschte Speicherbandbreite kann nicht gehalten werden. Für den Einsatz von Optane DC Persistent Memory gilt es also auch die jeweilige Anwendung und den Bedarf nach Speicherbandbreite abzuwägen.

In der Praxis soll sich der Vorteil aus dem Einsatz von Optane DC Persistent Memory vor allem durch die höhere Kapazität ergeben. Anstatt 12x 128 GB DDR4, also 1.536 GB, können nun 6x 128 GB (oder gar 6x 256 GB) + 6x 512 GB, also 3,84 TB (4,5 TB), pro Sockel verbaut werden. Die größere Kapazität kann beispielsweise dazu genutzt werden, jeder virtuellen Machine (VM) mehr Speicher zur Verfügung zu stellen, oder aber es macht mehr VMs insgesamt auf einer Maschine möglich. Zugleich können Daten, die zuvor eventuell nicht mehr in den DRAM gepasst haben, nun im größeren Optane DC Persistent Memory abgelegt werden und sind schneller zugänglich, als dies über eine Auslagerung auf eine SSD der Fall wäre.

Auch preislich soll der Optane DC Persistent Memory einen Vorteil bieten. Ein solcher DIMM mit 128 GB soll 577 US-Dollar kosten, mit 256 GB sind es jeweils 2.125 US-Dollar und die derzeit größten Optane-DC-Persistent-Memory-Module mit jeweils 512 GB sollen 6.751 US-Dollar kosten. DDR4 mit ECC kostet bei einer Modulgröße von 64 GB rund 700 US-Dollar und für 128 GB werden weit mehr als 1.000 US-Dollar aufgerufen.