> > > > IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

Veröffentlicht am: von

In einer Technical Session des Intel Developer Forums in San Francisco hat Intel seine Pläne für weitere und zukünftige Xeon-Phi-Produkte und die dazugehörigen GPU-Beschleuniger der Knights-Generationen veröffentlicht. Demnach soll der immer stärker wachsende Bedarf an Hardware für Deep-Learning-Netzwerke im kommenden Jahr mit Knights Mill bedient werden.

Die Ankündigung von Knights Mill ist aber gleichzeitig auch ein Umdenken bei Intel. Denn ursprünglich war nach der aktuellen Knights-Landing-Generation, die bis auf die High-End-Variante bereits ausgeliefert wird, Knights Hill geplant. Knights Hill sollte eine echte 3. Generation für Xeon Phi im 10-nm-Prozess werden. Doch vermutlich aufgrund des späten Starts der 10-nm-Produktion (mit der Massenproduktion ist nicht vor Ende 2017 zu rechnen), schiebt man nun Knights Mill als Zwischenlösung sein.

„Beschreibung“
Beschreibung

Mit Knights Mill adressiert Intel aber womöglich stärker den wachsenden Markt an Deep-Learning-Hardware, wo nicht FP16- , FP32- oder gar FP64-Berechnungen die wichtigste Rolle spielen, sondern viele kleine Berechnungen in INT8 möglichst schnell durchgeführt werden müssen. Diese INT8-Berechnungen spielen sowohl beim Anlernen von Deep-Learning-Netzwerken eine wichtige Rolle, wie auch bei der Auswertung von Daten in solchen Netzwerken. Da sich Intel aber weiterhin möglichst breit aufstellen möchte, führt man Mixed Precision ein. Mixed Precision beschreibt dabei die Möglichkeit von FP16- oder FP32-Berechnungen zusammengefasst zu werden. NVIDIA hat einen ähnlichen Modus auch in der aktuellen Pascal-Architektur. Derzeit ist aber nicht klar, was Intel damit genau meint, also welche Floating Point Formate nun letztendlich unterstützt werden sollen. FP16 und kleinere Modi fehlen bei Knights Landing komplett.

Im Zusammenhang mit Knights Mill nennt Intel auch eine verbesserte "Scale Out Performance". Derzeit ist aber unklar, was Intel damit meint. Möglich wäre ein deutlich schnellerer Interconnect, schneller als die aktuelle Omni-Path-Generation mit 100 GB/s. Es wäre aber auch möglich, dass Intel damit etwas völlig anderes meint. Das Unternehmen hat aber weiterhin große Cluster aus Xeon-Phi-Beschleunigern im Hinterkopf. Deren Anbindung untereinander spielt eine entscheidende Rolle. Änderungen könnten es auch beim MCDRAM geben, der aktuell bis zu 16 GB groß ist und dabei 500 GB/s erreicht. Intel spricht im Vortrag nur von einem „fexible, high capacity memory".

Derzeit will und kann Intel noch keine weiteren Details zu Knights Mill veröffentlichen. Die Knights-Landing-Generation wurde auch gerade erst offiziell vorgestellt und kann nun in größeren Stückzahlen ausgeliefert werden.

Social Links

Kommentare (1)

#1
Registriert seit: 14.12.2006
Schweiz
Oberbootsmann
Beiträge: 989
Interessanterweise hat Intel sich Nervanasys gekauft, ein Startup, welches effiziente Kernel für Deep Learning schreibt, für nVidias CUDA. Ich denke Intel ist daran für ihr Knights Mill interessiert.

Dazu ist aber anzumerken, dass bisherige Deep Learning Anwendungen extrem schlecht auf den Xeon Phi laufen, Meilenweit hinter AMD und nVidia Chips. Nimmt mich wunder ob sich das jetzt ändern wird.
Etwas speziell daran ist ja, dass die Xeon Phi besser als CPU denn als GPU angesprochen wird: Die Unterstützung von OpenCL ist zum Beispiel sehr schlecht, und ansonsten ist es auch schwer, dafür zu programmieren.

Keines der häufig verwendeten Deep Learning Frameworks hat den entsprechenden Untersatz für Xeon Phi (das betrifft TensorFlow, Caffe, Theano und Torch).

Auch lustig, wie nVidia und Intel behaupten INT8 sei jetzt "das wichtigste" bei deep learning. Wir erinnern uns: INT8 sind werte von 0 bis 255, also nur so viele Abstufungen wie bei 8bit-graustufe-Pixeln. Oder gar nur -127 bis 127 falls man den ganzen signierten Umfang braucht.

Nunja, in manchen Fällen stimmt die Notwendigkeit von INT8-Leistung, aber gute FP-Leistung ist immer noch (besonders bei grossen Netzwerken) extrem wichtig. FP16 oder FP32 werden hier gebraucht, FP64 ist zu genau und bringt keine Vorteile gegenüber dem höheren Stromverbrauch bei (mindestens halbierter) Leistung.
Aber ich vermute ja, dass nVidia und Intel das vor allem so auslegen, da sie in ihren Geräten auf FP16 verzichtet haben. nVidia hat das geschickt bei allen Pascal-Geräten bis auf den exorbitant teuren Pascal P100 weggelassen.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Intel kämpft mit schwerer Sicherheitslücke (Update: Intel veröffentlicht...

Logo von IMAGES/STORIES/2017/INTEL

Vor, während und zwischen den Feiertagen herrschte ein wildes Treiben in der Linux-Community. Zunächst war nicht ganz klar, was hier genau vor sich geht, inzwischen aber scheinen die Auswirkungen deutlich zu werden: Intel hat nach einer Lücke in der Management Unit eines jeden... [mehr]

Coffee Lake: Intel Core i7-8700K, i5-8600K und i5-8400 im Test

Logo von IMAGES/STORIES/2017/INTEL8GEN

Der sechste und letzte (?) CPU-Launch in diesem Jahr kommt von Intel: Mit den unter dem Codenamen Coffee Lake zusammengefassten Core-i7- und i5-Modellen kommen bei Intel erstmals Sechskern-Prozessoren in den Mainstream-Markt. Bedanken darf man sich aber wohl nicht bei Intel, sondern bei der... [mehr]

Coffee Lake: Overclocking-Check

Logo von IMAGES/STORIES/LOGOS-2016/KABYLAKE

Nach dem ausführlichen Overclocking-Check für Skylake-Prozessoren sowie dem Overclocking-Check für Kaby Lake-Prozessoren ist es nach Veröffentlichung der neuen Generation mit Codenamen Coffee-Lake erneut Zeit für einen Overclocking-Check. Wir werfen einen Blick auf die Übertaktbarkeit... [mehr]

Threadripper: AMDs Ryzen Threadripper 1950X und 1920X im Test

Logo von IMAGES/STORIES/2017/THREADRIPPER_TEASER

AMD strotzt vor Selbstbewusstsein: Wie lässt es sich sonst erklären, dass man ein Produkt mit einem so coolen Namen ausstattet? Die als "Threadripper" bezeichneten Ryzen-Prozessoren sollen AMD in den Benchmarks an den ersten Rang katapultieren - zumindest in Thread-intensiven Benchmarks. Wir... [mehr]

Intel Core i5-8250U und i7-8550U im Test: Mal ein kleiner, mal ein großer...

Logo von IMAGES/STORIES/2017/MEDION_P7649_KABY_LAKE_REFRESH

Im Gleichschritt marschierten Intels Desktop- und Mobil-Prozessoren schon länger nicht mehr. Ein so gravierender Unterschied wie derzeit ist aber völlig neu - und für den Verbraucher einmal mehr irritierend. Denn mit der 8. Core-Generation spendiert Intel beiden Plattformen eine eigene... [mehr]

Gelungener Feinschliff: AMD Ryzen 7 2700X und Ryzen 5 2600X im Test

Logo von IMAGES/STORIES/2017/AMD_RYZEN_7_2700X

Rund ein Jahr nach dem Start der Ryzen-Prozessoren legt AMD nach und bringt die zweite Generation in den Handel. Die soll schneller und effizienter arbeiten und den Druck auf Intel weiter erhöhen. Allerdings lautet die Devise Evolution statt Revolution, statt gravierender Änderungen gibt es vor... [mehr]