> > > > NVIDIA Tesla T4 als Inferencing-Beschleuniger mit 320 Tensor Cores

NVIDIA Tesla T4 als Inferencing-Beschleuniger mit 320 Tensor Cores

Veröffentlicht am: von

nvidia-teslat4Auf der GPU Technology Conference in Japan hat NVIDIA einen reinen Inferencing-Beschleuniger vorgestellt. Wie die bisherigen Inferencing-Beschleuniger, verwendet NVIDIA auch hier einen abgespeckten Chip mit möglichst viel Rechenleistung bei weniger komplexen Rechenoperationen – FP16, INT8 und INT4.

Laut NVIDIA besitzt die Tesla T4 320 Tensor Cores und 2.560 Shadereinheiten. Wie der Modellname schon verrät, verwendet NVIDIA hier einen Chip mit Turing-Architektur. Nach der Vorstellung der Quadro-RTX- und GeForce-RTX-20-Serie setzt NVIDIA die neuen GPU-Architektur damit auch in der Tesla-Modellreihe ein. Die Tesla T4 dürfte aber nur der Einstieg sein und weitere Modelle sollten folgen.

Die Rechenleistung der Tesla T4 liegt bei 8,1 TFLOPS bei einfacher Genauigkeit (FP32), 65 TFLOPS bei Mixed Precision (FP16/FP32), 130 TOPS (INT8) und 260 TOPS (INT4). Bei 320 Tensor Core sund 2.560 Shadereinheiten ist noch nicht ganz klar welche Turing-GPU NVIDIA hier verwendet. Die TU106-GPU soll mit 2.304 Shadereinheiten bereits dem Vollausbau entsprechen, kommt aber auf 288 Tensor Cores – zu wenige Shadereinheiten und Tensor Cores also. Demzufolge müsste hier die TU104-GPU zum Einsatz kommen, die maximal auf 3.072 Shadereinheiten und 384 Tensor Cores kommt.

Der Inferencing-Beschleuniger kommt als PCI-Express-Karte daher und verwendet zudem noch 16 GB an GDDR6, die auf eine Speicherbandbreite von 320 GB/s kommen sollen. Die Leistungsaufnahme der Karte soll bei 75 W liegen.

Inferencing-Beschleuniger sind darauf ausgelegt ihr zugeführte Daten schnellstmöglich in einem Deep-Learning-Netzwerk abzugleichen und eine Ausgabe zu erzeugen. Die Menge an Daten sowie die Latenzen spielen dabei eine wichtige Rolle. Die Tesla T4 ist unter anderem in der Lage bis zu 38 FullHD-Videostreams in Echtzeit auszuwerten. Dies entspricht der doppelten Menge einer Tesla P4.

Wann und zu welchem Preis die Tesla T4 verfügbar sein wird, ist nicht bekannt. Google wird die Tesla T4 in der eigenen Cloud-Plattform einsetzen.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (12)

#3
customavatars/avatar44491_1.gif
Registriert seit: 08.08.2006
SN
Moderator
Beiträge: 34132
8,1TFlop/s bei 75W? Das ist mal echt ne Hausnummer... Das ist 1080 non TI Shaderperformance Niveau bei nichtmal halber Leistungsaufnahme :eek:
#4
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Oberbootsmann
Beiträge: 771
Mehr spezialisierte Hardware. Nice.
Nvidia scheint den RnD Aufwand sehr gut auf verschiedene Märkte auslagern zu können. Sie haben mehr Kundenkreise und die Kunden haben eine größere Chance, genau das zu finden was sie brauchen.

Etwas schade, dass es hier nicht mehr, sondern weniger Tensor Cores gibt als auf der RTX 2080 (ti), aber dafür ist wohl dann der Preis auch entsprechend gering, hoffentlich. Nur wer kauft so einen Beschleuniger dann? Leute die Tensor beruflich nutzen können sind ja im Allgemeinen nicht gerade arm, bzw. können die Kosten eh von der Steuer / dem Gewinn absetzen. Wieso also eine abgespeckte Version kaufen? Hmm. Evtl. gibt es Anwendungsbereiche bei denen die Leistungsaufnahme ein Thema ist.
#5
Registriert seit: 26.07.2018

Matrose
Beiträge: 19
Etwas steuerlich absetzen zu können, heißt nicht, dass man selbiges gratis erhält ;)
Ob jemand für das gleiche Ergebnis XYZ Euro bezahlt oder 2x XYZ, wäre schon ein guter Unterschied.
#6
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Oberbootsmann
Beiträge: 771
Zitat Ycon;26518671
Etwas steuerlich absetzen zu können, heißt nicht, dass man selbiges gratis erhält ;)
Ob jemand für das gleiche Ergebnis XYZ Euro bezahlt oder 2x XYZ, wäre schon ein guter Unterschied.


Es ist sehr nah dran an gratis. Klar, nicht wortwörtlich, aber zieh mal 40% vom Preis ab, dann sieht das schon ganz anders aus mit P/L.
Zumal Unternehmen alles versuchen um den Gewinn zu drücken. Wird immer das Teuerste gekauft. Nicht das mich die DGX Systeme stören würden in der Arbeit, aber da merkt man schon wie wenig die Kaufsumme den Kauf beeinflusst in einem Unternehmen.
"Kostet 250.000? Nagut. Nehmen wir 2x."

Darum eben die Frage was diese kleinen Dinger an UseCases abdecken. Hat da jemand ein Beispiel aus der Praxis? Muss ja irgendwas sein, dass zwar AI lastig ist, aber trotzdem Energieaufname und Preis über Leistung stellt.
Bei normalen Firmenanwendungen ja nicht der Fall. Da steht doch immer irgendein dicker Server im Hintergrund für sowas.
#7
customavatars/avatar104207_1.gif
Registriert seit: 12.12.2008
Wien
Kapitänleutnant
Beiträge: 1801
Zitat Rattenmann;26518464
Hmm. Evtl. gibt es Anwendungsbereiche bei denen die Leistungsaufnahme ein Thema ist.

Ich würde sagen in jedem grösseren Rechenzentrum ist Effizienz, also Performance / Leistungsaufnahme ein sehr wichtiger Faktor.
Die ganzen Cloud-Anbieter werden die Karte gerne kaufen
#8
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Oberbootsmann
Beiträge: 771
Aber Cloud Anbieter brauchen doch enorme Mengen an Performance. So eine low power karte mit den paar TFlops sind doch da nur in Tausenderpacks überhaupt relevant. So ein DGX hat 2 petaflops und paar zerquetschte. Ich muss mal schauen wieviel Saft der aus der Wand zieht. Ist definitiv mehr als ne normale Steckdose hergibt, aber halt auch 2 petaflops.
#9
Registriert seit: 03.08.2006

Banned
Beiträge: 1674
Na sicher. NV macht jetzt Produkte für die es keinen Markt gibt. Sowas muß man bringen, damit eine Gelegenheit entsteht, die Tollheit der DGX erwähnen zu können.

Der Botschafter gibt aktuell alles was geht ;)
#10
customavatars/avatar269623_1.gif
Registriert seit: 02.05.2017

BannedForEveR
Beiträge: 8849
But can it run Crysis?
#11
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Oberbootsmann
Beiträge: 771
Zitat BessereHälfte;26519653
Na sicher. NV macht jetzt Produkte für die es keinen Markt gibt. Sowas muß man bringen, damit eine Gelegenheit entsteht, die Tollheit der DGX erwähnen zu können.

Der Botschafter gibt aktuell alles was geht ;)


Jeden Tag die Quote an nutzlosem getrolle, muss sein, oder?
Nu bin ich also auch schon Botschafter wenn ich NVidia hinterfrage und mich dafür interessiere welcher Usecase mit so einer Karte abgedeckt wird. Die Logik ist genial!

Du scheinst echt traurig zu sein, dass Dein favorisiertes Team aktuell nicht mehr mitspielt.
Aber keine Sorge, nächstes Jahr darfst Du mich dann als AMD Botschafter hinstellen, wenn ich mich für Navi und dessen Möglichkeiten interessiere. Oder Zen2, der ein heißer Kandidat für mein CPU Upgrade wird.
Hoffe Deine kleine Fabelwelt leidet dann nicht zu sehr darunter.

Außerdem:
Nvidia hat das Produkt nur auf den Markt gebracht, damit ich hier im Forum auf ein Produkt hinweise das im Preissegment eines kompletten Hauses ist. Da ist die Zielgruppe ja definitiv hier im Forum zu finden!
Echt jetzt, komm mal runter von dem nervigen Trip den Du da hast. Wenn Du nichts beizutragen hast, dann lass es halt einfach.
#12
Registriert seit: 03.08.2006

Banned
Beiträge: 1674
Du bist nicht "schon" Botschafter. Das warst du immer.

Zitat
Außerdem:
Nvidia hat das Produkt nur auf den Markt gebracht, damit ich hier im Forum auf ein Produkt hinweise das im Preissegment eines kompletten Hauses ist.
Das wohl kaum, aber du hast dir diese schlechte Gelegenheit trotzdem nicht durch die Finger flutschen lassen.
Du findest eben, du bist ein Pro ;)

Ich sehe Hardware pragmatisch und hab daher keine "favorite Teams". Trotzdem bleib ich interessiert und was mir dabei schwer auf den Geist geht sind außer stumpfsinnigen Fanboys, eben die Botschafter. Sie verlangsamen mit ihrem unterschwelligen Gaga meine pragmatische Erkenntnisgewinnung. Deswegen hast du auf Luxx aktuell auch nicht ganz so leicht wie woanders. Macht aber nichts. Kannst immerhin behaupten, du arbeitest hart...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • Sapphire Radeon RX Vega 64 Nitro+ im Test

    Logo von IMAGES/STORIES/2017/SAPPHIRE-VEGA

    Heute ist es endlich soweit: Wir können uns das zweite Custom-Design der Radeon RX Vega anschauen. Dabei handelt es sich um die Sapphire Radeon RX Vega 64 Nitro+, die besonders durch die Kühlung auf sich aufmerksam machen will. Drei Slots, drei Axiallüfter und sogar eine spezielle... [mehr]

  • NVIDIA Titan V: Volta-Architektur im Gaming-Test

    Logo von IMAGES/STORIES/2017/NVIDIA-TITANV

    In der letzten Woche hatte NVIDA noch eine Überraschung für uns parat: Die brandneue NVIDIA Titan V wurde vorgestellt. Damit gibt es das erste Consumer-Modell mit der neuen Volta-Architektur, das auch für Spieler interessant sein kann, in erster Linie aber auch professionelle Nutzer ansprechen... [mehr]

  • Die GeForce RTX 2080 Ti und RTX 2080 Founders Edition im Test

    Logo von IMAGES/STORIES/2017/GEFORCERTX2080

    Heute nun ist es endlich soweit und wir präsentieren die vollständigen Leistungsdaten und Messwerte zu den beiden ersten Karten der GeForce-RTX-20-Serie von NVIDIA. Nach der Vorstellung der Pascal-Architektur im Mai 2016 sind die neuen Karten für NVIDIA in vielerlei Hinsicht ein... [mehr]

  • Mega-Roundup: 14 aktuelle GeForce-Grafikkarten in 11 Blockbuster-Spielen...

    Logo von IMAGES/STORIES/2017/GPU_BLOCKBUSER_VGL_ZOTAC-TEASER

    In Kooperation mit Zotac Auch in diesem Jahr veranstalteten die Spielepublisher wieder ein regelrechtes Feuerwerk an neuen Videospielen. Vor allem in den letzten Wochen des Jahres wurden zahlreiche neue Triple-A-Titel veröffentlicht, wie beispielsweise ein neues "Call of Duty",... [mehr]

  • Sechs Grafikkarten von Sapphire im Vergleich in 11 Blockbuster-Spielen

    Logo von IMAGES/STORIES/2017/SAPPHIRE-2017AUFMACHER

    In Kooperation mit Sapphire Nachdem der Herbst und Winter mit zahlreichen neuen Spielen samt Grafikfeuerwerk aufwarten konnte, haben wir uns bereits 14 aktuelle GeForce-Karten in 11 neuen Spielen angeschaut. Nun wollen wir die Seiten sozusagen wechseln und schauen uns an, wie diese Spiele auf... [mehr]

  • PowerColor Radeon RX Vega 56 Red Devil im Test

    Heute wollen wir unsere Artikelübersicht zu den Custom-Modellen der Radeon RX Vega abrunden, denn mit der PowerColor Radeon RX Vega 56 Red Devil steht uns das Modell eines weiteren AMD-Exklusivpartners zur Verfügung. Das erste Mal haben wir nun auch die Gelegenheit uns eine solche Variante auf... [mehr]