> > > > IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

Veröffentlicht am: von

In einer Technical Session des Intel Developer Forums in San Francisco hat Intel seine Pläne für weitere und zukünftige Xeon-Phi-Produkte und die dazugehörigen GPU-Beschleuniger der Knights-Generationen veröffentlicht. Demnach soll der immer stärker wachsende Bedarf an Hardware für Deep-Learning-Netzwerke im kommenden Jahr mit Knights Mill bedient werden.

Die Ankündigung von Knights Mill ist aber gleichzeitig auch ein Umdenken bei Intel. Denn ursprünglich war nach der aktuellen Knights-Landing-Generation, die bis auf die High-End-Variante bereits ausgeliefert wird, Knights Hill geplant. Knights Hill sollte eine echte 3. Generation für Xeon Phi im 10-nm-Prozess werden. Doch vermutlich aufgrund des späten Starts der 10-nm-Produktion (mit der Massenproduktion ist nicht vor Ende 2017 zu rechnen), schiebt man nun Knights Mill als Zwischenlösung sein.

„Beschreibung“
Beschreibung

Mit Knights Mill adressiert Intel aber womöglich stärker den wachsenden Markt an Deep-Learning-Hardware, wo nicht FP16- , FP32- oder gar FP64-Berechnungen die wichtigste Rolle spielen, sondern viele kleine Berechnungen in INT8 möglichst schnell durchgeführt werden müssen. Diese INT8-Berechnungen spielen sowohl beim Anlernen von Deep-Learning-Netzwerken eine wichtige Rolle, wie auch bei der Auswertung von Daten in solchen Netzwerken. Da sich Intel aber weiterhin möglichst breit aufstellen möchte, führt man Mixed Precision ein. Mixed Precision beschreibt dabei die Möglichkeit von FP16- oder FP32-Berechnungen zusammengefasst zu werden. NVIDIA hat einen ähnlichen Modus auch in der aktuellen Pascal-Architektur. Derzeit ist aber nicht klar, was Intel damit genau meint, also welche Floating Point Formate nun letztendlich unterstützt werden sollen. FP16 und kleinere Modi fehlen bei Knights Landing komplett.

Im Zusammenhang mit Knights Mill nennt Intel auch eine verbesserte "Scale Out Performance". Derzeit ist aber unklar, was Intel damit meint. Möglich wäre ein deutlich schnellerer Interconnect, schneller als die aktuelle Omni-Path-Generation mit 100 GB/s. Es wäre aber auch möglich, dass Intel damit etwas völlig anderes meint. Das Unternehmen hat aber weiterhin große Cluster aus Xeon-Phi-Beschleunigern im Hinterkopf. Deren Anbindung untereinander spielt eine entscheidende Rolle. Änderungen könnten es auch beim MCDRAM geben, der aktuell bis zu 16 GB groß ist und dabei 500 GB/s erreicht. Intel spricht im Vortrag nur von einem „fexible, high capacity memory".

Derzeit will und kann Intel noch keine weiteren Details zu Knights Mill veröffentlichen. Die Knights-Landing-Generation wurde auch gerade erst offiziell vorgestellt und kann nun in größeren Stückzahlen ausgeliefert werden.

Social Links

Kommentare (1)

#1
Registriert seit: 14.12.2006
Norwegen, Oslo
Oberbootsmann
Beiträge: 1000
Interessanterweise hat Intel sich Nervanasys gekauft, ein Startup, welches effiziente Kernel für Deep Learning schreibt, für nVidias CUDA. Ich denke Intel ist daran für ihr Knights Mill interessiert.

Dazu ist aber anzumerken, dass bisherige Deep Learning Anwendungen extrem schlecht auf den Xeon Phi laufen, Meilenweit hinter AMD und nVidia Chips. Nimmt mich wunder ob sich das jetzt ändern wird.
Etwas speziell daran ist ja, dass die Xeon Phi besser als CPU denn als GPU angesprochen wird: Die Unterstützung von OpenCL ist zum Beispiel sehr schlecht, und ansonsten ist es auch schwer, dafür zu programmieren.

Keines der häufig verwendeten Deep Learning Frameworks hat den entsprechenden Untersatz für Xeon Phi (das betrifft TensorFlow, Caffe, Theano und Torch).

Auch lustig, wie nVidia und Intel behaupten INT8 sei jetzt "das wichtigste" bei deep learning. Wir erinnern uns: INT8 sind werte von 0 bis 255, also nur so viele Abstufungen wie bei 8bit-graustufe-Pixeln. Oder gar nur -127 bis 127 falls man den ganzen signierten Umfang braucht.

Nunja, in manchen Fällen stimmt die Notwendigkeit von INT8-Leistung, aber gute FP-Leistung ist immer noch (besonders bei grossen Netzwerken) extrem wichtig. FP16 oder FP32 werden hier gebraucht, FP64 ist zu genau und bringt keine Vorteile gegenüber dem höheren Stromverbrauch bei (mindestens halbierter) Leistung.
Aber ich vermute ja, dass nVidia und Intel das vor allem so auslegen, da sie in ihren Geräten auf FP16 verzichtet haben. nVidia hat das geschickt bei allen Pascal-Geräten bis auf den exorbitant teuren Pascal P100 weggelassen.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • Intel Core i9-9900K im Test: Acht Kerne mit Luxuszuschlag

    Logo von IMAGES/STORIES/2017/INTEL_CORE_I9-9900K

    Nach monatelangen Spekulationen und zahlreichen durchgesickerten Informationen hat Intel vor knapp zwei Wochen seine neunte Generation der Core-Prozessoren vorgestellt. Ins Rennen werden mit dem Core i5-9600K, Core i7-9700K und Core i9-9900K zunächst drei Modelle geschickt, die nicht nur... [mehr]

  • AMD Ryzen Threadripper 2990WX und 2950X im Test: Mit Vollgas an Intel vorbei

    Logo von IMAGES/STORIES/2017/AMD_THREADRIPPER_2950X

    Pünktlich zum ersten Geburtstag startet AMD den Ryzen-Threadripper-Generationswechsel. Und wie schon im Frühjahr beim Sprung von Ryzen 1 zu Ryzen 2 vertraut man auf zwei Dinge: mehr Kerne und einen geringeren Preis. Beide sollen dabei helfen, dem Dauerrivalen Intel im... [mehr]

  • Intel mit eigenen Benchmarks zum i9-9900K, i9-9980XE und i9-9900X (5. Update)

    Logo von IMAGES/STORIES/2017/INTEL

    Am gestrigen Nachmittag präsentierte Intel die kommenden Produktlinien bei den Desktop-Prozessoren. Besonders interessant sind dabei natürlich die Core-Prozessoren der 9. Generation, die mit dem Core i9-9900K nun auch ein Modell mit acht Kernen und 16 Threads beinhalten. Im November wird es... [mehr]

  • AMD soll Ryzen 7 2800X mit 10 Kernen in Vorbereitung haben

    Logo von IMAGES/STORIES/2017/AMD_RYZEN_TEASER_100

    Auf der spanischen Seite El chapuzas Informatico ist ein Bild aufgetaucht, welches die Cinebench-Ergebnisse eines Ryzen 7 2800X zeigen soll. Derzeit lässt sich die Echtheit des Screenshots nicht bestätigen und bisher sind auch noch keine weiteren Informationen zu einem Ryzen 7 2800X... [mehr]

  • AMD Ryzen 3000: Acht Zen-2-Kerne mit PCIe 4.0 ab Mitte 2019

    Logo von IMAGES/STORIES/2017/RYZEN3000-CES19

    Neben der Vorstellung der Radeon Vega 7 als erste Gaming-GPU aus der 7-nm-Fertigung hat AMD eine Vorschau auf die Ryzen-Prozessoren der 3000er-Serie gegeben. Die als Matisse geführten Desktop-Prozessoren werden im Sockel AM4 Platz finden, basieren aber auf der neuen Zen-2-Architektur und bieten... [mehr]

  • Intel Coffee Lake Refresh: Overclocking-Check

    Logo von IMAGES/STORIES/2017/INTEL_CORE_I9-9900K

    Nach dem Start der neuen Generation der Intel-Core-Prozessoren stellt sich die Frage, wie es um die Overclocking-Eigenschaften bestellt ist. Erste Ergebnisse lieferte bereits der Test des Core i9-9900K. Doch wie schon in den vergangenen Jahren soll ein umfangreicher Check zeigen, an welchen... [mehr]