[FAQ] NVMe SSD: HMB erklärt und warum..

Erklärbär

Experte
Thread Starter
Mitglied seit
28.01.2025
Beiträge
2.443
..dank moderneren HMB-Mode Management & Hybrid-FTL auch HMB-Mode NVMe SSD Controller heute "mehr können" als früher.

Vorwort:
Lange Zeit galt für das SATA-SSD-Segment (fälschlicherweise wird dies auch für das NVMe-SSD-Segment noch bis heute übertragen) eine feste Faustregel: Für jedes Terabyte Speicherkapazität benötigt ein Controller rund 1 Gigabyte eigenen DRAM-Cache, um die sogenannte „L2P-Mapping-Tabelle“ (Logical-to-Physical) über große Adressbereiche vollständig im schnellen Arbeitsspeicher zu halten. Fiel der DRAM weg, brachen die Zugriffszeiten bei zufälligen Lese- und Schreibvorgängen drastisch ein. Das ist soweit richtig, gilt aber dann auch nur so für Anfangs genanntes Storage und ist so nicht 1:1 auf moderneres HMB-Mode NVMe-SSD-Storage übertragbar.

Warum ist das so?
Moderne DRAM-lose NVMe-Controller wie z.b. der hier behandelte Maxio MAP1602 umgehen dieses Problem erfolgreich, obwohl sie über den Host Memory Buffer (HMB) meist nur bis max. 40 MB (bei 4TB) des System-RAM (Arbeitsspeicher) nutzen. Hierfür verantwortlich ist eine Kombination aus Hybrid-FTL und intelligenter Adress-Komprimierung, ein Verfahren, das moderne HMB-Controller auf Basis der NVMe-1.2-Spezifikation (konkret ab Revision 1.2.1 bzw. NVMe 1.3 seit ca. 2017) nutzen:
  • Abschied vom starren 1:1-Mapping: Würde jeder einzelne 4-KB-Sektor separat mit einem 4-Byte-Eintrag verwaltet werden, reichten 40 MB HMB gerade einmal für 40 GB Speicherplatz aus. Dieses Szenario tritt in der Praxis aber eher selten und nur bei komplett unstrukturierten Zufallsdaten auf.
  • Feinkörnige Extent- / Run-Length-Komprimierung: Zusammenhängende logische Blöcke (z.b. 16-KB-NAND-Pages oder kleine bis mittlere Dateien) werden nicht einzeln, sondern als ein gemeinsamer "Extent" (Startadresse + Länge) gespeichert. Ein einziger 4 bis 16-Byte HMB-Eintrag reicht also um gleich mehrere Sektoren abzudecken, die effektive Reichweite des bis zu 40 MB HMB steigt also, im optimalen Fall bis um den Faktor x4 bis x16 (ca. 160 GB bis 640 GB Adressraum).
  • Grobkörniges Coarse-Grained Block-Mapping: Große Dateien wie Spiele, Videos oder ruhende Archive verwaltet die Firmware direkt auf Ebene ganzer NAND-Blöcke bzw. "Super-Blocks". Gerade letzteres reduziert den Platzbedarf (HMB) im optimalsten Fall um bis zu 98%.
  • Dank schneller PCIe-4.0-DMA-Zugriffe (~1,5 µs ggü. ~45 µs beim Lesen aus dem NAND-Flash) arbeitet der Controller bei einem HMB-Hit nahezu verzögerungsfrei.
Das Grundprinzip hinter Hybrid-FTL ist keineswegs eine Erfindung der modernen NVMe-Ära, sondern stammt aus den Anfangs- und Mitte der 2000er Jahre. Damals standen Entwickler von USB-Sticks, CompactFlash- und SD-Karten vor genau demselben Problem wie heutige DRAM-lose SSDs: Die winzigen Controller besaßen nur wenige Kilobyte internen SRAM, sodass eine vollständige 1:1-Mapping-Tabelle unmöglich war.
Um dieses Nadelöhr zu umgehen, wurden wegweisende Hybrid-Algorithmen wie "BAST" (Block-Associative Sector Translation, ca. 2002) und "FAST" (Fully Associative Sector Translation, ca. 2005/2007) entwickelt. Die Grundidee war simpel, aber genial: Der Großteil der ruhenden Daten wurde extrem speichersparend auf grober Block-Ebene verwaltet, während nur ein kleiner Pufferbereich (Log-Block) für aktive, häufig geänderte Schreibvorgänge feingranular auf Seiten-Ebene (Page-Level) geführt wurde.
Mit dem Aufkommen günstiger DRAM-Chips gerieten diese Verfahren bei PC-SSDs zeitweise in den Hintergrund – bis die NVMe-1.2-Generation (konkret ab Revision 1.2.1) den Host Memory Buffer (HMB) einführte. Modernere HMB-Controller greifen genau auf diese bewährten Hybrid-Konzepte von damals zurück, kombinieren sie aber mit moderner "Extent-Komprimierung", PCIe-4.0-DMA und weiteren, neueren HMB-Techniken der Demand-Paged FTL, um mit weit weniger reservierten System-RAM sehr große Adresbereichbereiche an Flash verlustfrei zu verwalten.

(Info: Dieser Text ist KI generiert)

HMB Management des Maxio MAP1602 Controller, ein sehr bekannter Controller der bei vielen NVMe-SSDs zum Einsatz kommt (z.b. Lexar NM790):

HMB_Architektur_MAP1602_Rev2.png

Warum diese Komprimierungs-Methoden für DRAM-lose NVMe-SSDs mit HMB entscheidend sind:
In der Speicherforschung wurden Extent-Komprimierung, Run-Length Encoding (RLE) und Hybrid-FTL entwickelt, um teuren Onboard-DRAM bei großen Enterprise-SSDs einzusparen.
Moderne DRAM-lose Controller übertragen genau diese Konzepte 1:1 auf den Host-Memory-Buffer (HMB), da dieser aus Sicht der Firmware wie ein stark verkleinerter, über PCIe angebundener DRAM-Cache arbeitet:
  • Maximale Working-Set-Abdeckung: Da ein komprimierter Extent-Eintrag gleich Dutzende oder Hunderte Seiten abbilden kann, passt ein großer Teil des aktiven Adressraums gleichzeitig in die bis zu 40 MB des reservierten HMB – langsame Flash-Lookups (Double Reads) werden vermieden. (1)
  • Weniger PCIe-DMA-Transfers: Jeder Zugriff auf den HMB verursacht über den PCIe-Bus eine Latenz von ca. 1,5 µs (gegenüber ~45 µs beim Lesen aus dem NAND-Flash). Mit den komprimierten Extent-Einträgen genügt ein einziger DMA-Lookup im HMB, um die Zieladressen eines ganzen Datenbereichs auszulesen. (2)
  • Geringerer Sync-Overhead: Weil durch Hybrid- und Extent-Mapping weniger einzelne Tabelleneinträge verändert werden, muss der Controller beim regelmäßigen Zurückschreiben der Metadaten in den NAND-Flash deutlich weniger Daten über den Bus bewegen. (3)

PDF Inhaltsnavigation:
zu (1) Maximale Working-Set-Abdeckung:
PDF Seite 2 ⇒ III. FTL OVERVIEW ⇒ C. Classification of FTL Architectures ⇒ "Page-Level Mapping" vs. "Hybrid Mapping" (Speicherbedarf veraltetes Standard-Mapping vs. Hybrid-Mapping über Blockgrenzen hinweg)
PDF Seite 6 ⇒ VI. HYBRID MAPPING SCHEMES ⇒ A. Adaptive FTL (selektives Feingranular-Caching aktiver Bereiche)

zu (2) Weniger PCIe-DMA-Transfers:
PDF Seite 2 ⇒ III. FTL OVERVIEW ⇒ B. Performance Evaluation Metrics ⇒ "Address Translation Efficiency" & "SRAM Resource Utilization" (Vermeidung langsamer Flash-Lookups durch passende Granularität)
PDF Seite 6 ⇒ VI. HYBRID MAPPING SCHEMES ⇒ F. Superblock FTL (Bündelung zusammenhängender logischer Blöcke zur Ausnutzung räumlicher Lokalität)

zu (3) Geringerer Sync-Overhead:
PDF Seite 2 ⇒ III. FTL OVERVIEW ⇒ B. Performance Evaluation Metrics ⇒ "Fault Tolerance Capability" (Synchronisation flüchtiger Mapping-Änderungen mit dem Flash)
PDF Seite 6 ⇒ VI. HYBRID MAPPING SCHEMES ⇒ C. Log-Structured Hybrid Mapping Schemes ⇒ "Switch merge ..." (minimaler Metadaten-Update-Aufwand bei zusammenhängenden Bereichen)
>> Hinweis: Das Paper nutzt den Begriff "SRAM" als Oberbegriff für den begrenzten schnellen Controller-Arbeitsspeicher, dessen Funktion bei DRAM-losen NVMe-SSDs direkt durch den HMB übernommen wird.

..so, dass war es dann auch schon..

_
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh