1. Hardwareluxx
  2. >
  3. News
  4. >
  5. Allgemein
  6. >
  7. Wirtschaft
  8. >
  9. MLPerf Inference 1.1: Software-Optimierungen zeigen stärkste Wirkung

MLPerf Inference 1.1: Software-Optimierungen zeigen stärkste Wirkung

Veröffentlicht am: von

mlperfIn einem sechsmonatigen Rhythmus hat MLCommons die Version 1.1 der Inferencing-Resultate veröffentlicht. Wie immer stammen die Ergebnisse von Dell, HPE, Inspur, Intel, Lenovo, NVIDIA, Qualcomm, Gigabyte, Supermicro und einigen mehr. Eine gegenseitige Review-Schleife eröffnet jedem Teilnehmer die Möglichkeit, die Resultate des anderen zu prüfen. MLCommons überprüft die Resultate natürlich ebenfalls.

Die Inferencing-Ergebnisse in der Version 1.1 können ab sofort abgerufen werden. Unterschieden wird dabei zwischen dem Datacenter-Einsatz mit den entsprechenden Ergebnissen sowie dem Edge-Einsatz. Während die Effizient vor allem bei den Edge-Servern von entscheidender Bedeutung ist, geht es im Datacenter vor allem um die Skalierung der komplexen Datensätze.

AI- und ML-Benchmarks sind allerdings nicht ganz so einfach, wie der Start eines 3DMark-Durchlaufs oder dergleichen. Schon für unsere Serverbenchmarks ergibt sich in unseren Tests ein gehöriger Aufwand. Für die MLPerf-Benchmarks ist die Komplexität noch einmal deutlich höher. Es gibt daher sogenannte Closed-Ergebnisse, bei denen es strenge Vorgaben für die Verarbeitung der Daten gibt. Layer und die Gewichtung der Daten dürfen nicht verändert werden. Über Frameworks und das Datenlayout können die eingereichten Ergebnisse jedoch optimiert werden. In den Open-Model-Ergebnissen können weitaus weitreichendere Optimierungen vorgenommen werden. Diese Ergebnisse sind allerdings nicht mehr zwangsläufig miteinander vergleichbar.

Im Vergleich zu den Inferencing-Ergebnissen der Version 1.0 aus dem Frühjahr sind nicht allzu viele neue Hardware-Konfigurationen hinzugekommen. Qualcomm steuert mit seinem Cloud-AI-100-Beschleuniger deutlich mehr Ergebnisse bei und kämpft in dieser Hinsicht vor allem mit den Systemen von NVIDIA.

Auffällig ist überwiegend: Da sich in den Hardwarekonfigurationen recht wenig getan hat, zeigen sich die Softwareoptimierungen besonders deutlich. Hier geht es Mal von wenigen Prozentpunkten bis um den Faktor zwei nach oben – nur durch die Art und Weise wie die Daten von der Hardware verarbeitet werden.

Qualcomm will die Großen ärgern

Besonders Qualcomm tut sich bei den Inference-1.1-Ergebnissen hervor und proklamiert für sich eine führende Positionen in den wichtigsten Anwendungsbereichen. Qualcomm ist vielen sicherlich nicht aus diesem Bereich bekannt. Mit dem Cloud-AI-100-Beschleuniger will man im Datacenter und für Edge-Server nun aber Fuß fassen.

Einige Beispiele, in denen der Cloud-AI-100-Beschleuniger seine Stärken ausspielen können soll, ist der ResNet-Offline-Benchmark, bei dem 16 Cloud AI 100 mit jeweils 75 W schneller sein sollen, als acht A100 Tensor GPUs mit jeweils 500 W. Die Effizienz soll eine der Stärken der Hardware von Qualcomm sein. Für Edge-Systeme sind die 75 W des Cloud-AI-100-Beschleunigers ebenfalls gut geeignet und sollen auch hier effizienter als die A10- und A40-GPUs von NVIDIA sein.

Eine weiterer Faktor für diese Systeme ist die Latenz. Aber auch hier sieht Qualcomm sich gut aufgestellt und bietet mit der eigenen Hardware geringe Latenzen und einen pro Inferencing-Vorgang geringeren Stromverbrauch.

NVIDIA sieht das größere Bild

Für NVIDIA stand das größere Bild im Fokus und auch wenn Qualcomm ihnen in einigen Teilbereichen die Butter vom Brot nehmen konnte, so sieht sich NVIDIA dennoch weiter in führender Position für das Inferencing. Auch bei NVIDIA gab es in fast allen Teilbereichen eine Leistungssteigerung, die aufgrund fehlender neuer Hardware ausschließlich auf Softwareoptimierungen zurückzuführen ist. Der komplette Software-Stack ist ohnehin eine der Stärken von NVIDIA – inzwischen arbeiten bei NVIDIA doppelt so viele Software-Entwickler wie Hardware-Ingenieure.

NVIDIA sieht die aufkommende Konkurrenz durch den Cloud-AI-100-Beschleuniger von Qualcomm allen voran für die kleinere Inference-Lösung A30. Dort, wo der Stromverbrauch keine große Rolle spielt, bzw. es darum geht, auch beim Inferencing möglichst schnell zu arbeiten, soll die A100 Tensor GPU weiterhin das Maß aller Dinge sein. Wie immer gilt es nicht einfach nur die Länge der Balken zu betrachten, sondern das gesamte Spektrum.

Eines ist in den Resultaten, bzw. deren Präsentation durch NVIDIA auffällig: Häufig werden Vergleiche zwischen x86- und ARM-Servern gezogen und NVIDIA wurde nicht müde zu betonen, dass ARM-Server auch im Datacenter eine zunehmend größere Rolle spielen werden und sich nicht mehr hinter den x86-Servern verstecken müssen. Da NVIDIA den Kauf von ARM beabsichtigt (zahlreiche Regulierungsbehörden müssen dem noch zustimmen), sind die Verweise auf ARM-Prozessoren natürlich im ureigenen Interesse für NVIDIA.

MLPerf mit eigener App

Womöglich in dieser Woche wird MLPerf zudem eine App vorstellen, die im App-Store für iOS und Google Play erhältlich sein wird. Die App soll typische Inferencing-Anwendungen simulieren und Ergebnisse liefern, die einen Vergleich zwischen den verschiedenen Mobilgeräten ermöglichen.

Wir konnten eine Beta-Version von MLPerf testen und haben den Benchmark auf einem iPhone X, iPhone 12 und einem iPad 2020 durchgeführt.

In gewisser Weise können wir anhand der drei Ergebnisse schon sehen, wohin die Reise in den letzten drei bss vier Jahren gegangen ist. Nicht nur Apple, auch die SoC-Hersteller setzen verstärkt auf AI-Beschleuniger und deren Leistung zeigt sich anhand des A12 im iPad sowie dem A14 Bionic im iPhone 12. Das iPhone X hingegen muss noch mit einem A11 auskommen und liefert deutlich schlechtere Ergebnisse.

Inwieweit solche Benchmark-Ergebnisse aussagekräftig sind, ist schwer zu beurteilen. Natürlich lässt sich die verbaute Hardware damit 1:1 vergleichen, ob der Nutzer nun aber in der Praxis auch spürt, dass eine Bilderkennung schnell stattfindet, steht auf einem anderen Blatt. Bei Apples iPhone findet die Analyse der vorhandenen Bilddaten nachts statt, wenn das iPhone geladen wird. Wenn in der Nutzung in den Bildern dann nach einem Gattungsbegriff gesucht wird, wird nur noch nach den entsprechenden Tags gesucht. Eine Online-Bilderkennung ist meist durch die Anbindung des Geräts an das Internet limitiert und nicht an die Rechenleistung des SoCs.

Als Hilfsmittel ist der MLPerf-Benchmark im Rahmen zukünftiger Reviews sicherlich sinnvoll.

Social Links

Das könnte Sie auch interessieren:

  • Checkout with Crypto: PayPal schaltet Bezahlfunktion für Kryptowährungen frei

    Logo von IMAGES/STORIES/2017/PAYPAL

    Im Oktober gab PayPal bekannt, künftig auch Bezahlungen über verschiedene Kryptowährungen ermöglichen zu wollen. Die Plattform sollte ab ab 2021 zur Handelsplattform für Bitcoin und Co. werden. Nachdem US-Kunden bereits seit Ende des letzten Jahres verschiedene Kryptowährungen direkt über... [mehr]

  • Ethereum: Gesamthashrate mit starkem Rückgang

    Logo von IMAGES/STORIES/2017/ETHEREUM

    Insbesondere der Kryptowährung Ethereum und dessen Minern wurde in der Vergangenheit immer wieder nachgesagt, verantwortlich für die schlechte Verfügbarkeit von Grafikkarten zu sein. Schaut man sich aktuell bei eBay-Kleinanzeigen um, tauchen dort immer mehr Anzeigen mit Mining-Rigs auf. Zudem... [mehr]

  • US-Regierung hebt Sonderlizenzen für Huawei auf

    Logo von IMAGES/STORIES/2017/HUAWEI

    Auch mit der Wahl des neuen US-Präsidenten Joe Biden hält der Handelsstreit zwischen den Vereinigten Staaten von Amerika und der Volksrepublik China weiter an. Nun nimmt das Ganze nochmals Fahrt auf. Die zunächst erteilten Sondergenehmigungen an US-Firmen, den chinesischen... [mehr]

  • Caseking startet die Schnäppchenjagd 2020 mit den King Deals

    Logo von IMAGES/STORIES/2017/CASEKING2019

    Am kommenden Freitag, den 27. November 2020 ist es wieder soweit und die große Schnäppchenjagd anlässlich des Black Friday beginnt. Bereits jetzt schon lassen sich bei Caseking mit den King Deals bis zu 50 % beim Kauf bestimmter Artikel sparen. Besagte Angebote laufen vom 23. bis zum 30.... [mehr]

  • Keine Lenovo-Produkte mehr in Deutschland: Nokia erwirkt einstweilige Verfügung

    Logo von IMAGES/STORIES/2017/LENOVO

    Das Urteil eines Münchner Gerichts glich für Lenovo wahrscheinlich einer Hiobs-Botschaft. Die einstweilige Verfügung zwingt den großen Technik-Konzern dazu, den Verkauf fast sämtlicher Produkte in Deutschland einzustellen.Seit gestern ist die gesamte deutsche Internetseite von Kaufangeboten... [mehr]

  • Sennheiser trennt sich von seiner Kopfhörer-Sparte

    Logo von IMAGES/STORIES/2017/SENNHEISER

    Der deutsche Hersteller Sennheiser hat jetzt bekanntgegeben, sich von der eigenen Kopfhörer- sowie Soundbar-Sparte für Endverbraucher zu trennen. In Zukunft wird besagter Bereich von dem schweizerischen Unternehmen Sonova übernommen. Dies lässt sich der Produzent von Hörgeräten insgesamt 200... [mehr]