> > > > IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

IDF16: Knights Mill für Xeon Phi soll Deep-Learning-Netzwerke beschleunigen

DruckenE-Mail
Erstellt am: von

In einer Technical Session des Intel Developer Forums in San Francisco hat Intel seine Pläne für weitere und zukünftige Xeon-Phi-Produkte und die dazugehörigen GPU-Beschleuniger der Knights-Generationen veröffentlicht. Demnach soll der immer stärker wachsende Bedarf an Hardware für Deep-Learning-Netzwerke im kommenden Jahr mit Knights Mill bedient werden.

Die Ankündigung von Knights Mill ist aber gleichzeitig auch ein Umdenken bei Intel. Denn ursprünglich war nach der aktuellen Knights-Landing-Generation, die bis auf die High-End-Variante bereits ausgeliefert wird, Knights Hill geplant. Knights Hill sollte eine echte 3. Generation für Xeon Phi im 10-nm-Prozess werden. Doch vermutlich aufgrund des späten Starts der 10-nm-Produktion (mit der Massenproduktion ist nicht vor Ende 2017 zu rechnen), schiebt man nun Knights Mill als Zwischenlösung sein.

„Beschreibung“
Beschreibung

Mit Knights Mill adressiert Intel aber womöglich stärker den wachsenden Markt an Deep-Learning-Hardware, wo nicht FP16- , FP32- oder gar FP64-Berechnungen die wichtigste Rolle spielen, sondern viele kleine Berechnungen in INT8 möglichst schnell durchgeführt werden müssen. Diese INT8-Berechnungen spielen sowohl beim Anlernen von Deep-Learning-Netzwerken eine wichtige Rolle, wie auch bei der Auswertung von Daten in solchen Netzwerken. Da sich Intel aber weiterhin möglichst breit aufstellen möchte, führt man Mixed Precision ein. Mixed Precision beschreibt dabei die Möglichkeit von FP16- oder FP32-Berechnungen zusammengefasst zu werden. NVIDIA hat einen ähnlichen Modus auch in der aktuellen Pascal-Architektur. Derzeit ist aber nicht klar, was Intel damit genau meint, also welche Floating Point Formate nun letztendlich unterstützt werden sollen. FP16 und kleinere Modi fehlen bei Knights Landing komplett.

Im Zusammenhang mit Knights Mill nennt Intel auch eine verbesserte "Scale Out Performance". Derzeit ist aber unklar, was Intel damit meint. Möglich wäre ein deutlich schnellerer Interconnect, schneller als die aktuelle Omni-Path-Generation mit 100 GB/s. Es wäre aber auch möglich, dass Intel damit etwas völlig anderes meint. Das Unternehmen hat aber weiterhin große Cluster aus Xeon-Phi-Beschleunigern im Hinterkopf. Deren Anbindung untereinander spielt eine entscheidende Rolle. Änderungen könnten es auch beim MCDRAM geben, der aktuell bis zu 16 GB groß ist und dabei 500 GB/s erreicht. Intel spricht im Vortrag nur von einem „fexible, high capacity memory".

Derzeit will und kann Intel noch keine weiteren Details zu Knights Mill veröffentlichen. Die Knights-Landing-Generation wurde auch gerade erst offiziell vorgestellt und kann nun in größeren Stückzahlen ausgeliefert werden.

Social Links

Kommentare (1)

#1
Registriert seit: 14.12.2006
Schweiz
Oberbootsmann
Beiträge: 930
Interessanterweise hat Intel sich Nervanasys gekauft, ein Startup, welches effiziente Kernel für Deep Learning schreibt, für nVidias CUDA. Ich denke Intel ist daran für ihr Knights Mill interessiert.

Dazu ist aber anzumerken, dass bisherige Deep Learning Anwendungen extrem schlecht auf den Xeon Phi laufen, Meilenweit hinter AMD und nVidia Chips. Nimmt mich wunder ob sich das jetzt ändern wird.
Etwas speziell daran ist ja, dass die Xeon Phi besser als CPU denn als GPU angesprochen wird: Die Unterstützung von OpenCL ist zum Beispiel sehr schlecht, und ansonsten ist es auch schwer, dafür zu programmieren.

Keines der häufig verwendeten Deep Learning Frameworks hat den entsprechenden Untersatz für Xeon Phi (das betrifft TensorFlow, Caffe, Theano und Torch).

Auch lustig, wie nVidia und Intel behaupten INT8 sei jetzt "das wichtigste" bei deep learning. Wir erinnern uns: INT8 sind werte von 0 bis 255, also nur so viele Abstufungen wie bei 8bit-graustufe-Pixeln. Oder gar nur -127 bis 127 falls man den ganzen signierten Umfang braucht.

Nunja, in manchen Fällen stimmt die Notwendigkeit von INT8-Leistung, aber gute FP-Leistung ist immer noch (besonders bei grossen Netzwerken) extrem wichtig. FP16 oder FP32 werden hier gebraucht, FP64 ist zu genau und bringt keine Vorteile gegenüber dem höheren Stromverbrauch bei (mindestens halbierter) Leistung.
Aber ich vermute ja, dass nVidia und Intel das vor allem so auslegen, da sie in ihren Geräten auf FP16 verzichtet haben. nVidia hat das geschickt bei allen Pascal-Geräten bis auf den exorbitant teuren Pascal P100 weggelassen.
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

Test: Intel Xeon E3-1230 v5 (Skylake)

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/XEON-E3-1230V5/LOGO_XEON

Vor ein paar Tagen stellte Intel die Xeon-Prozessoren mit Sockel 1151 aus der Skylake-Familie vor. Diese sind hauptsächlich für den Workstation- und Entry-Level-Server-Bereich gedacht, die Vorgänger-CPUs fanden sich aber auch in vielen PCs unserer Leser wieder. Der Clou der Prozessoren ist das... [mehr]

Skylake richtig einstellen: Was man machen sollte, was man lassen sollte

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/XEON-E3-1230V5/LOGO_XEON

Intels Skylake-Chips wurden vor nunmehr vier Monate vorgestellt und sind leider immer noch nur spärlich verfügbar. Nach unserem Test der Core i7-6700K- und Core i5-6600K-Prozessoren zum Launch haben wir uns bereits diverse Z170-Boards angesehen, die Mobilversionen getestet und sind aufs... [mehr]

Core i7-6950X im Test: Dicker Motor, alte Karosse

Logo von IMAGES/STORIES/GALLERIES/REVIEWS/6950X/6950X-LOGO

Intels letzter CPU-Launch ist schon eine Weile her - Ende Oktober 2015 testeten wir den Xeon E5-1230v5 auf Skylake-Basis, seitdem war zumindest im Desktop-Bereich nichts neues mehr vom Marktführer zu hören. Am heutigen Tag aktualisiert Intel endlich die High-End-Plattform und bringt mit dem Core... [mehr]

Intel 'Kaby Lake': Die siebte Core-Generation im Detail vorgestellt

Logo von IMAGES/STORIES/LOGOS-2016/INTEL_7TH_CORE_GEN

Im Zuge der kommenden "Kaby Lake"-Plattform, deren breite Verfügbarkeit für das erste Quartal 2017 erwartet wird, nutzt Intel heute die Gelegenheit, die siebte Core-Generation offiziell im Detail vorzustellen und bereits ein paar Prozessoren auf den Markt zu bringen. Wir konnten uns bereits vor... [mehr]

Delid Die Mate im Test

Logo von IMAGES/STORIES/IMAGES/STORIES/GALLERIES/REVIEWS/2016/DDM/DDM

Seit der Ivy-Bridge-Generation verlötet Intel Die und Heatspreader nicht mehr miteinander, was leider in deutlich schlechteren Kern-Temperaturen resultiert. Abhilfe dagegen schafft nur das Delidding (das sogenannte „Köpfen“) der CPU sowie der anschließende Austausch der Wärmeleitpaste durch... [mehr]

AMD nennt architektonische Details zu Zen - Summit Ridge mit Broadwell-E...

Logo von IMAGES/STORIES/LOGOS-2016/AMD-ZEN

Alle Journalisten, die von Intel auf das IDF eingeladen wurden, bekamen von AMD eine Einladung für ein eigenes Event im Hotel gegenüber. Also machte sich der Tross auf den Weg, um in einer Pressekonferenz neue Details über AMDs kommende Zen-Architektur und die Prozessoren zu erfahren. Erstmals... [mehr]