1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Hardware
  6. >
  7. Prozessoren
  8. >
  9. MLPerf Inference 1.0 Power legt den Fokus auf die Effizienz

MLPerf Inference 1.0 Power legt den Fokus auf die Effizienz

Veröffentlicht am: von

mlperfIn all unseren Tests versuchen wir über Benchmarks und Messungen unter gleichen Bedingungen des korrekte Leistungsbild der Hardware darzustellen. Für Prozessoren, Grafikkarten, Speicher, aber auch für Lüfter und Kühler stellt sich dies noch recht einfach und nachvollziehbar dar.

Schon anders sieht dies für Serveranwendungen, die weitaus komplexer und weniger einfach nachvollziehbar sein können. Auf die Spitze getrieben wird dies mit AI-, bzw. ML-Anwendungen, die zahlreiche weitere Komplexitäten mitbringen. Die MLCommons hat sich unter dem Label MLPerf zur Aufgabe gemacht, die Leistungsdaten in diesem Segment untereinander vergleichbar zu machen. Nachdem bereits im vergangenen Jahr die Resultate für MLPerf Training v0.7 veröffentlicht wurden, in denen NVIDIAs neuer A100 die Führungsrolle übernommen hatte, sind kurz darauf die Ergebnisse für das MLPerf Inference v0.7 online gegangen. Aufgrund der COVID-Pandemie verzögerten sich weitere Resultate.

Neben den reinen Leistungsdaten im Training und Inferencing spielt die Effizienz solcher Systeme eine Rolle. Noch viel mehr, wenn sich die Hardware nicht mehr nur im Rechenzentrum befindet, sondern im sogenannten Edge-Betrieb, also beispielsweise direkt in der 5G-Basisstation – nur um einen Anwendungsbereich zu nennen.

Entsprechend wurden nun auch die Leistungsdaten für die Effizienz erhoben, die als MLPerf Inference 1.0 Power aufgeführt werden. Ein paar Daten wollen wir dabei einmal herausnehmen:

  • Dell EMC PowerEdge R7525: 2x AMD EPYC 7502, 2x NVIDIA A100 – 93.371 Samples/s bei 1.101 W (84,8 Samples/s/W)
  • Dell EMC PowerEdge XE2420: 2x Intel Xeon Gold 6252, 2x NVIDIA T4 – 23.309 Samples/s bei 794 W (29,3 Samples/s/W)
  • NVIDIA DGX-A100: 2x AMD EPYC 7742, 8x NVIDIA A100 – 270.706 Samples/s bei 3.459 W (78,3 Samples/s/W)
  • Gigabyte R282-Z93: 2x AMD EPYC 7282, 5x Qualcomm AI 100 – 100.077 bei 562 W (178,1 Samples/s/W)

Schaut man sich die Leistungsdaten für ImageNet an, werden die Unterschiede deutlich: 23.000 Samples/s bei fast 800 W sind eben weniger effizient als 100.000 Samples bei 562 W. Wir haben die Ergebnisse daher auf Samples pro Sekunde pro W mit einem Index versehen. Am Ende spielen die jeweiligen Anforderungen eine Rolle und nicht die reine Effizienzbetrachung.

Noch deutlicher wird dies im bereits erwähnten Edge-Bereich, wo nicht immer ein System mit mehreren hundert Watt infrage kommt. Hier wird ein Qualcomm Snapdragon 865 genannt, der 7.806 Samples/s bei 36,4 W (214,4 Samples/s/W) erreicht.

Zudem gibt es neue Inferecing-Ergebnisse. Diese beziehen sich in der Vorschau vor allem auf die neuen A30- und A10-GPU-Beschleuniger. Ansonsten sehen wir hier die üblichen Verdächtigen, aber auch ein paar neue AI-Beschleuniger (Qualcomm Cloud AI 100 PCIe).

Genau wie die Ergebnisse der A30- und A10-GPU-Beschleuniger sind auch erste Ergebnisse für die Ice-Lake-Prozessoren von Intel erhalten – auch hier allerdings nur in einer Vorschau, da noch keine finalen Ergebnisse vorliegen.

MLPerf Inference und MLPerf Inference Power enthält Anwendungen wie Bilderkennung auf Resnet50-v1.5, Objekterkennung mit SSD-ResNet34, Segmentierung medizinischer Bilder mit 3D UNET, Texterkennung mit RNNT, Spracherkennung mit BERT und eine AI-Empfehlungsengine auf Basis von DLRM. Damit werden die wichtigsten Anwendungsbereiche im AI-Bereich abgedeckt und in gewisser Weise ein Standard gesetzt, der eine Vergleichbarkeit ermöglicht.

Welche ist die beste CPU?

Unsere Kaufberatung zu den aktuellen Intel- und AMD-Prozessoren hilft dabei, die Übersicht nicht zu verlieren. Dort zeigen wir, welche Prozessoren aktuell die beste Wahl darstellen - egal, ob es um die reine Leistungsfähigkeit oder das Preis-Leistungs-Verhältnis geht.


Social Links

Das könnte Sie auch interessieren:

  • Core i9-12900K und Core i5-12600K: Hybrid-Desktop-CPUs Alder Lake im Test

    Logo von IMAGES/STORIES/2017/ALDER-LAKE-REVIEW

    Heute ist es soweit: Intel holt zum Gegenschlag gegen AMD aus und will nicht mehr nur weiterhin in der Single-Threaded-Leistung besser als sein Konkurrent sein, sondern dank eines Hybrid-Designs auch in der Multi-Threaded-Leistung. Alder Lake ist laut Intel der größte Schritt in der... [mehr]

  • K wie Mittelklasse: Intel Core i7-12700K im Test

    Logo von IMAGES/STORIES/2017/ALDER-LAKE-REVIEW

    Nachdem wir uns das schnellste und das langsamste K-Modell der Alder-Lake-Prozessoren bereits angeschaut haben, folgt heute das Mittelklasse-Modell in Form des Core i7-12700K. Nach unserem initialen Test kann man sagen: Intel ist zurück! Viele Aspekte des Alder-Lake-Designs sind neu, von den... [mehr]

  • Ein letztes Hurra auf AM4: Der Ryzen 7 5800X3D im Test

    Logo von IMAGES/STORIES/2017/RYZEN7-5800X3D

    Vor etwas mehr als einer Woche erschienen die ersten Tests des Ryzen 7 5800X3D, dem ersten Prozessor mit 3D V-Cache, der explizit auf Spiele ausgelegt ist und hier seine Stärken haben soll. Inzwischen ist der Prozessor auch im Handel verfügbar. Heute wollen wir unseren Test des Einhorns für AM4... [mehr]

  • Core i5-12400 im Test: Ohne E-Cores zur günstigen und effizienten Gaming-CPU

    Logo von IMAGES/STORIES/2017/CORE-I5-12400

    Erst vor wenigen Tagen hat Intel die Alder-Lake-Produktpalette um die sparsameren 65- und 35-W-Modelle ergänzt. Mit dem Core i5-12400 wollen wir uns heute den heißesten Anwärter auf die Preis/Leistungskrone anschauen. Natürlich gäbe es noch zahlreiche weitere interessante Modelle, wir machen... [mehr]

  • BCLK OC: Core i3-12100F und B660-Plattform-Erfahrungen

    Logo von IMAGES/STORIES/2017/BCLK-OC

    Nachdem wir uns das Thema Basistakt-Overclocking auf Basis des ASUS ROG Maximus Z690 Hero und dem Core i5-12400 bereits angeschaut haben, bekam das Thema mit der vermeintlichen Unterstützung einiger Mainboards von ASUS mit B660-Chipsatz eine interessante Wendung, da die Kombination aus günstigem... [mehr]

  • Test: Effizienz von Alder Lake in Spielen im Vergleich

    Logo von IMAGES/STORIES/2017/ALDER-LAKE-REVIEW

    In unseren bisherigen Tests der Alder-Lake-Prozessoren spielte natürlich auch der Stromverbrauch eine Rolle. Dabei haben wir aber nur Idle- und Volllast-Betrieb betrachtet, da sich diese am konsistentesten nachstellen lässt und der Volllast-Betrieb das Worst-Case-Szenario... [mehr]