> > > > IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

Veröffentlicht am: von

In einer Technical Session des Intel Developer Forums in San Francisco hat Intel seine Pläne für weitere und zukünftige Xeon-Phi-Produkte und die dazugehörigen GPU-Beschleuniger der Knights-Generationen veröffentlicht. Demnach soll der immer stärker wachsende Bedarf an Hardware für Deep-Learning-Netzwerke im kommenden Jahr mit Knights Mill bedient werden.

Die Ankündigung von Knights Mill ist aber gleichzeitig auch ein Umdenken bei Intel. Denn ursprünglich war nach der aktuellen Knights-Landing-Generation, die bis auf die High-End-Variante bereits ausgeliefert wird, Knights Hill geplant. Knights Hill sollte eine echte 3. Generation für Xeon Phi im 10-nm-Prozess werden. Doch vermutlich aufgrund des späten Starts der 10-nm-Produktion (mit der Massenproduktion ist nicht vor Ende 2017 zu rechnen), schiebt man nun Knights Mill als Zwischenlösung sein.

„Beschreibung“
Beschreibung

Mit Knights Mill adressiert Intel aber womöglich stärker den wachsenden Markt an Deep-Learning-Hardware, wo nicht FP16- , FP32- oder gar FP64-Berechnungen die wichtigste Rolle spielen, sondern viele kleine Berechnungen in INT8 möglichst schnell durchgeführt werden müssen. Diese INT8-Berechnungen spielen sowohl beim Anlernen von Deep-Learning-Netzwerken eine wichtige Rolle, wie auch bei der Auswertung von Daten in solchen Netzwerken. Da sich Intel aber weiterhin möglichst breit aufstellen möchte, führt man Mixed Precision ein. Mixed Precision beschreibt dabei die Möglichkeit von FP16- oder FP32-Berechnungen zusammengefasst zu werden. NVIDIA hat einen ähnlichen Modus auch in der aktuellen Pascal-Architektur. Derzeit ist aber nicht klar, was Intel damit genau meint, also welche Floating Point Formate nun letztendlich unterstützt werden sollen. FP16 und kleinere Modi fehlen bei Knights Landing komplett.

Im Zusammenhang mit Knights Mill nennt Intel auch eine verbesserte "Scale Out Performance". Derzeit ist aber unklar, was Intel damit meint. Möglich wäre ein deutlich schnellerer Interconnect, schneller als die aktuelle Omni-Path-Generation mit 100 GB/s. Es wäre aber auch möglich, dass Intel damit etwas völlig anderes meint. Das Unternehmen hat aber weiterhin große Cluster aus Xeon-Phi-Beschleunigern im Hinterkopf. Deren Anbindung untereinander spielt eine entscheidende Rolle. Änderungen könnten es auch beim MCDRAM geben, der aktuell bis zu 16 GB groß ist und dabei 500 GB/s erreicht. Intel spricht im Vortrag nur von einem „fexible, high capacity memory".

Derzeit will und kann Intel noch keine weiteren Details zu Knights Mill veröffentlichen. Die Knights-Landing-Generation wurde auch gerade erst offiziell vorgestellt und kann nun in größeren Stückzahlen ausgeliefert werden.

Social Links

Kommentare (1)

#1
Registriert seit: 14.12.2006
Norwegen, Oslo
Oberbootsmann
Beiträge: 1000
Interessanterweise hat Intel sich Nervanasys gekauft, ein Startup, welches effiziente Kernel für Deep Learning schreibt, für nVidias CUDA. Ich denke Intel ist daran für ihr Knights Mill interessiert.

Dazu ist aber anzumerken, dass bisherige Deep Learning Anwendungen extrem schlecht auf den Xeon Phi laufen, Meilenweit hinter AMD und nVidia Chips. Nimmt mich wunder ob sich das jetzt ändern wird.
Etwas speziell daran ist ja, dass die Xeon Phi besser als CPU denn als GPU angesprochen wird: Die Unterstützung von OpenCL ist zum Beispiel sehr schlecht, und ansonsten ist es auch schwer, dafür zu programmieren.

Keines der häufig verwendeten Deep Learning Frameworks hat den entsprechenden Untersatz für Xeon Phi (das betrifft TensorFlow, Caffe, Theano und Torch).

Auch lustig, wie nVidia und Intel behaupten INT8 sei jetzt "das wichtigste" bei deep learning. Wir erinnern uns: INT8 sind werte von 0 bis 255, also nur so viele Abstufungen wie bei 8bit-graustufe-Pixeln. Oder gar nur -127 bis 127 falls man den ganzen signierten Umfang braucht.

Nunja, in manchen Fällen stimmt die Notwendigkeit von INT8-Leistung, aber gute FP-Leistung ist immer noch (besonders bei grossen Netzwerken) extrem wichtig. FP16 oder FP32 werden hier gebraucht, FP64 ist zu genau und bringt keine Vorteile gegenüber dem höheren Stromverbrauch bei (mindestens halbierter) Leistung.
Aber ich vermute ja, dass nVidia und Intel das vor allem so auslegen, da sie in ihren Geräten auf FP16 verzichtet haben. nVidia hat das geschickt bei allen Pascal-Geräten bis auf den exorbitant teuren Pascal P100 weggelassen.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Intel kämpft mit schwerer Sicherheitslücke (Update: Intel veröffentlicht...

Logo von IMAGES/STORIES/2017/INTEL

Vor, während und zwischen den Feiertagen herrschte ein wildes Treiben in der Linux-Community. Zunächst war nicht ganz klar, was hier genau vor sich geht, inzwischen aber scheinen die Auswirkungen deutlich zu werden: Intel hat nach einer Lücke in der Management Unit eines jeden... [mehr]

Gelungener Feinschliff: AMD Ryzen 7 2700X und Ryzen 5 2600X im Test

Logo von IMAGES/STORIES/2017/AMD_RYZEN_7_2700X

Rund ein Jahr nach dem Start der Ryzen-Prozessoren legt AMD nach und bringt die zweite Generation in den Handel. Die soll schneller und effizienter arbeiten und den Druck auf Intel weiter erhöhen. Allerdings lautet die Devise Evolution statt Revolution, statt gravierender Änderungen gibt es vor... [mehr]

AMD Ryzen 5 2400G und Ryzen 3 2200G im Test: Die Lücke ist gestopft

Logo von IMAGES/STORIES/2017/AMD_RYZEN_5_2400G

Während Notebook-Käufer sich bereits seit einigen Wochen von den Vorzügen der Zen-basierten Raven-Ridge-APUs überzeugen können, musste sich das Desktop-Lager noch gedulden. Nun aber heißt es auch hier: Intel erhält neue Konkurrenz. Und die könnte einen noch größeren Einfluss als die... [mehr]

AMD Ryzen Threadripper 2990WX und 2950X im Test: Mit Vollgas an Intel vorbei

Logo von IMAGES/STORIES/2017/AMD_THREADRIPPER_2950X

Pünktlich zum ersten Geburtstag startet AMD den Ryzen-Threadripper-Generationswechsel. Und wie schon im Frühjahr beim Sprung von Ryzen 1 zu Ryzen 2 vertraut man auf zwei Dinge: mehr Kerne und einen geringeren Preis. Beide sollen dabei helfen, dem Dauerrivalen Intel im... [mehr]

Intel Core i9-9900K im Test: Acht Kerne mit Luxuszuschlag

Logo von IMAGES/STORIES/2017/INTEL_CORE_I9-9900K

Nach monatelangen Spekulationen und zahlreichen durchgesickerten Informationen hat Intel vor knapp zwei Wochen seine neunte Generation der Core-Prozessoren vorgestellt. Ins Rennen werden mit dem Core i5-9600K, Core i7-9700K und Core i9-9900K zunächst drei Modelle geschickt, die nicht nur... [mehr]

AMD Ryzen 5 2400G und Ryzen 3 2200G: Raven Ridge kann auch spielen

Logo von IMAGES/STORIES/2017/AMD_RYZEN_TEASER_100

Eine gute Alternative, wenn es um einen Alltags- oder Office-Rechner geht: So lautete vor wenigen Tagen das Fazit zu AMDs neuen APUs. Doch wie sich Ryzen 3 2200G und Ryzen 5 2400G schlagen, wenn die Zeit zwischen Word und Chrome mit dem ein oder anderen Spiel überbrückt werden soll, konnte... [mehr]