> > > > IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

DruckenE-Mail
Erstellt am: von

In einer Technical Session des Intel Developer Forums in San Francisco hat Intel seine Pläne für weitere und zukünftige Xeon-Phi-Produkte und die dazugehörigen GPU-Beschleuniger der Knights-Generationen veröffentlicht. Demnach soll der immer stärker wachsende Bedarf an Hardware für Deep-Learning-Netzwerke im kommenden Jahr mit Knights Mill bedient werden.

Die Ankündigung von Knights Mill ist aber gleichzeitig auch ein Umdenken bei Intel. Denn ursprünglich war nach der aktuellen Knights-Landing-Generation, die bis auf die High-End-Variante bereits ausgeliefert wird, Knights Hill geplant. Knights Hill sollte eine echte 3. Generation für Xeon Phi im 10-nm-Prozess werden. Doch vermutlich aufgrund des späten Starts der 10-nm-Produktion (mit der Massenproduktion ist nicht vor Ende 2017 zu rechnen), schiebt man nun Knights Mill als Zwischenlösung sein.

„Beschreibung“
Beschreibung

Mit Knights Mill adressiert Intel aber womöglich stärker den wachsenden Markt an Deep-Learning-Hardware, wo nicht FP16- , FP32- oder gar FP64-Berechnungen die wichtigste Rolle spielen, sondern viele kleine Berechnungen in INT8 möglichst schnell durchgeführt werden müssen. Diese INT8-Berechnungen spielen sowohl beim Anlernen von Deep-Learning-Netzwerken eine wichtige Rolle, wie auch bei der Auswertung von Daten in solchen Netzwerken. Da sich Intel aber weiterhin möglichst breit aufstellen möchte, führt man Mixed Precision ein. Mixed Precision beschreibt dabei die Möglichkeit von FP16- oder FP32-Berechnungen zusammengefasst zu werden. NVIDIA hat einen ähnlichen Modus auch in der aktuellen Pascal-Architektur. Derzeit ist aber nicht klar, was Intel damit genau meint, also welche Floating Point Formate nun letztendlich unterstützt werden sollen. FP16 und kleinere Modi fehlen bei Knights Landing komplett.

Im Zusammenhang mit Knights Mill nennt Intel auch eine verbesserte "Scale Out Performance". Derzeit ist aber unklar, was Intel damit meint. Möglich wäre ein deutlich schnellerer Interconnect, schneller als die aktuelle Omni-Path-Generation mit 100 GB/s. Es wäre aber auch möglich, dass Intel damit etwas völlig anderes meint. Das Unternehmen hat aber weiterhin große Cluster aus Xeon-Phi-Beschleunigern im Hinterkopf. Deren Anbindung untereinander spielt eine entscheidende Rolle. Änderungen könnten es auch beim MCDRAM geben, der aktuell bis zu 16 GB groß ist und dabei 500 GB/s erreicht. Intel spricht im Vortrag nur von einem „fexible, high capacity memory".

Derzeit will und kann Intel noch keine weiteren Details zu Knights Mill veröffentlichen. Die Knights-Landing-Generation wurde auch gerade erst offiziell vorgestellt und kann nun in größeren Stückzahlen ausgeliefert werden.

Social Links

Kommentare (1)

#1
Registriert seit: 14.12.2006
Schweiz
Oberbootsmann
Beiträge: 940
Interessanterweise hat Intel sich Nervanasys gekauft, ein Startup, welches effiziente Kernel für Deep Learning schreibt, für nVidias CUDA. Ich denke Intel ist daran für ihr Knights Mill interessiert.

Dazu ist aber anzumerken, dass bisherige Deep Learning Anwendungen extrem schlecht auf den Xeon Phi laufen, Meilenweit hinter AMD und nVidia Chips. Nimmt mich wunder ob sich das jetzt ändern wird.
Etwas speziell daran ist ja, dass die Xeon Phi besser als CPU denn als GPU angesprochen wird: Die Unterstützung von OpenCL ist zum Beispiel sehr schlecht, und ansonsten ist es auch schwer, dafür zu programmieren.

Keines der häufig verwendeten Deep Learning Frameworks hat den entsprechenden Untersatz für Xeon Phi (das betrifft TensorFlow, Caffe, Theano und Torch).

Auch lustig, wie nVidia und Intel behaupten INT8 sei jetzt "das wichtigste" bei deep learning. Wir erinnern uns: INT8 sind werte von 0 bis 255, also nur so viele Abstufungen wie bei 8bit-graustufe-Pixeln. Oder gar nur -127 bis 127 falls man den ganzen signierten Umfang braucht.

Nunja, in manchen Fällen stimmt die Notwendigkeit von INT8-Leistung, aber gute FP-Leistung ist immer noch (besonders bei grossen Netzwerken) extrem wichtig. FP16 oder FP32 werden hier gebraucht, FP64 ist zu genau und bringt keine Vorteile gegenüber dem höheren Stromverbrauch bei (mindestens halbierter) Leistung.
Aber ich vermute ja, dass nVidia und Intel das vor allem so auslegen, da sie in ihren Geräten auf FP16 verzichtet haben. nVidia hat das geschickt bei allen Pascal-Geräten bis auf den exorbitant teuren Pascal P100 weggelassen.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

16 Threads für 550 Euro: AMD RYZEN 7 1800X im Test

Logo von IMAGES/STORIES/LOGOS-2017/AMD_RYZEN_TEASER_100

Eine neue Ära – so beschreibt AMD selbst den Start der RYZEN-Prozessoren. Die dazugehörige Zen-Architektur soll ein Neustart für AMD sein und das auf allen wichtigen Märkten. Den Anfang machen die RYZEN-Prozessoren auf dem Desktop. Die Zen-Architektur soll AMD aber auch zu einem Neustart auf... [mehr]

Core i7-6950X im Test: Dicker Motor, alte Karosse

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/6950X/6950X-LOGO

Intels letzter CPU-Launch ist schon eine Weile her - Ende Oktober 2015 testeten wir den Xeon E5-1230v5 auf Skylake-Basis, seitdem war zumindest im Desktop-Bereich nichts neues mehr vom Marktführer zu hören. Am heutigen Tag aktualisiert Intel endlich die High-End-Plattform und bringt mit dem Core... [mehr]

AMDs Ryzen 7 1700X im Test: Der beste Ryzen?

Logo von IMAGES/STORIES/LOGOS-2017/AMD_RYZEN_TEASER_100

In unserem ausführlichen Testbericht zu AMDs Ryzen 7 1800X in der letzten Woche hatten wir bereits angekündigt, dass wir weitere Artikel rund um AMDs neues Flaggschiff bringen werden. Den Anfang macht ein Kurztest zum Ryzen 7 1700X, der mit knapp 120 Euro weniger Kaufpreis momentan als das... [mehr]

Intel Core i7-7700K im Test - keine großen Sprünge mit Kaby Lake

Logo von IMAGES/STORIES/LOGOS-2016/KABYLAKE

Am heutigen 3. Januar stellt Intel die Desktop-Modelle der Kaby-Lake-Architektur vor. Wir haben natürlich den Launch-Test: Intels Flaggschiff, der Core i7-7700K, wurde von uns in den letzten Tagen durch diverse Benchmarks gejagt und gegen die Vorgänger verglichen. Allerdings sollte... [mehr]

AMD Ryzen 7 1700 im Test und übertaktet - der interessanteste Ryzen

Logo von IMAGES/STORIES/LOGOS-2017/AMD_RYZEN_TEASER_100

Mit dem Ryzen 7 1800X und Ryzen 7 1700X haben wir uns die beiden neuen Flaggschiff-Prozessoren von AMD näher angeschaut. Nun fehlt nur noch das dritte Modell im Bunde, das für viele Umrüst-Interessenten sicherlich der interessanteste Ryzen-Prozessor ist. Die Rede ist natürlich vom Ryzen 7 1700... [mehr]

AMD stellt die ersten RYZEN-Modelle offiziell vor: +52 % IPC ab 359 Euro

Logo von

AMD hat soeben die Modelle der RYZEN-Prozessoren offiziell vorgestellt. Dabei werden die meisten Gerüchte bestätigt, aber auch die letzten Fragen zu den Modellen beantwortet. Mit den RYZEN-Prozessoren bringt AMD die ersten CPUs auf Basis der neuen Zen-Architektur auf den Markt, die AMD wieder in... [mehr]