> > > > NVIDIA Tesla T4 als Inferencing-Beschleuniger mit 320 Tensor Cores

NVIDIA Tesla T4 als Inferencing-Beschleuniger mit 320 Tensor Cores

Veröffentlicht am: von

nvidia-teslat4Auf der GPU Technology Conference in Japan hat NVIDIA einen reinen Inferencing-Beschleuniger vorgestellt. Wie die bisherigen Inferencing-Beschleuniger, verwendet NVIDIA auch hier einen abgespeckten Chip mit möglichst viel Rechenleistung bei weniger komplexen Rechenoperationen – FP16, INT8 und INT4.

Laut NVIDIA besitzt die Tesla T4 320 Tensor Cores und 2.560 Shadereinheiten. Wie der Modellname schon verrät, verwendet NVIDIA hier einen Chip mit Turing-Architektur. Nach der Vorstellung der Quadro-RTX- und GeForce-RTX-20-Serie setzt NVIDIA die neuen GPU-Architektur damit auch in der Tesla-Modellreihe ein. Die Tesla T4 dürfte aber nur der Einstieg sein und weitere Modelle sollten folgen.

Die Rechenleistung der Tesla T4 liegt bei 8,1 TFLOPS bei einfacher Genauigkeit (FP32), 65 TFLOPS bei Mixed Precision (FP16/FP32), 130 TOPS (INT8) und 260 TOPS (INT4). Bei 320 Tensor Core sund 2.560 Shadereinheiten ist noch nicht ganz klar welche Turing-GPU NVIDIA hier verwendet. Die TU106-GPU soll mit 2.304 Shadereinheiten bereits dem Vollausbau entsprechen, kommt aber auf 288 Tensor Cores – zu wenige Shadereinheiten und Tensor Cores also. Demzufolge müsste hier die TU104-GPU zum Einsatz kommen, die maximal auf 3.072 Shadereinheiten und 384 Tensor Cores kommt.

Der Inferencing-Beschleuniger kommt als PCI-Express-Karte daher und verwendet zudem noch 16 GB an GDDR6, die auf eine Speicherbandbreite von 320 GB/s kommen sollen. Die Leistungsaufnahme der Karte soll bei 75 W liegen.

Inferencing-Beschleuniger sind darauf ausgelegt ihr zugeführte Daten schnellstmöglich in einem Deep-Learning-Netzwerk abzugleichen und eine Ausgabe zu erzeugen. Die Menge an Daten sowie die Latenzen spielen dabei eine wichtige Rolle. Die Tesla T4 ist unter anderem in der Lage bis zu 38 FullHD-Videostreams in Echtzeit auszuwerten. Dies entspricht der doppelten Menge einer Tesla P4.

Wann und zu welchem Preis die Tesla T4 verfügbar sein wird, ist nicht bekannt. Google wird die Tesla T4 in der eigenen Cloud-Plattform einsetzen.

Social Links

Ihre Bewertung

Ø Bewertungen: 0

Tags

Kommentare (12)

#3
customavatars/avatar44491_1.gif
Registriert seit: 08.08.2006
SN
Moderator
Beiträge: 34267
8,1TFlop/s bei 75W? Das ist mal echt ne Hausnummer... Das ist 1080 non TI Shaderperformance Niveau bei nichtmal halber Leistungsaufnahme :eek:
#4
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Leutnant zur See
Beiträge: 1141
Mehr spezialisierte Hardware. Nice.
Nvidia scheint den RnD Aufwand sehr gut auf verschiedene Märkte auslagern zu können. Sie haben mehr Kundenkreise und die Kunden haben eine größere Chance, genau das zu finden was sie brauchen.

Etwas schade, dass es hier nicht mehr, sondern weniger Tensor Cores gibt als auf der RTX 2080 (ti), aber dafür ist wohl dann der Preis auch entsprechend gering, hoffentlich. Nur wer kauft so einen Beschleuniger dann? Leute die Tensor beruflich nutzen können sind ja im Allgemeinen nicht gerade arm, bzw. können die Kosten eh von der Steuer / dem Gewinn absetzen. Wieso also eine abgespeckte Version kaufen? Hmm. Evtl. gibt es Anwendungsbereiche bei denen die Leistungsaufnahme ein Thema ist.
#5
Registriert seit: 26.07.2018

Obergefreiter
Beiträge: 85
Etwas steuerlich absetzen zu können, heißt nicht, dass man selbiges gratis erhält ;)
Ob jemand für das gleiche Ergebnis XYZ Euro bezahlt oder 2x XYZ, wäre schon ein guter Unterschied.
#6
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Leutnant zur See
Beiträge: 1141
Zitat Ycon;26518671
Etwas steuerlich absetzen zu können, heißt nicht, dass man selbiges gratis erhält ;)
Ob jemand für das gleiche Ergebnis XYZ Euro bezahlt oder 2x XYZ, wäre schon ein guter Unterschied.


Es ist sehr nah dran an gratis. Klar, nicht wortwörtlich, aber zieh mal 40% vom Preis ab, dann sieht das schon ganz anders aus mit P/L.
Zumal Unternehmen alles versuchen um den Gewinn zu drücken. Wird immer das Teuerste gekauft. Nicht das mich die DGX Systeme stören würden in der Arbeit, aber da merkt man schon wie wenig die Kaufsumme den Kauf beeinflusst in einem Unternehmen.
"Kostet 250.000? Nagut. Nehmen wir 2x."

Darum eben die Frage was diese kleinen Dinger an UseCases abdecken. Hat da jemand ein Beispiel aus der Praxis? Muss ja irgendwas sein, dass zwar AI lastig ist, aber trotzdem Energieaufname und Preis über Leistung stellt.
Bei normalen Firmenanwendungen ja nicht der Fall. Da steht doch immer irgendein dicker Server im Hintergrund für sowas.
#7
customavatars/avatar104207_1.gif
Registriert seit: 12.12.2008
Wien
Kapitänleutnant
Beiträge: 1827
Zitat Rattenmann;26518464
Hmm. Evtl. gibt es Anwendungsbereiche bei denen die Leistungsaufnahme ein Thema ist.

Ich würde sagen in jedem grösseren Rechenzentrum ist Effizienz, also Performance / Leistungsaufnahme ein sehr wichtiger Faktor.
Die ganzen Cloud-Anbieter werden die Karte gerne kaufen
#8
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Leutnant zur See
Beiträge: 1141
Aber Cloud Anbieter brauchen doch enorme Mengen an Performance. So eine low power karte mit den paar TFlops sind doch da nur in Tausenderpacks überhaupt relevant. So ein DGX hat 2 petaflops und paar zerquetschte. Ich muss mal schauen wieviel Saft der aus der Wand zieht. Ist definitiv mehr als ne normale Steckdose hergibt, aber halt auch 2 petaflops.
#9
Registriert seit: 03.08.2006

Banned
Beiträge: 1674
Na sicher. NV macht jetzt Produkte für die es keinen Markt gibt. Sowas muß man bringen, damit eine Gelegenheit entsteht, die Tollheit der DGX erwähnen zu können.

Der Botschafter gibt aktuell alles was geht ;)
#10
customavatars/avatar269623_1.gif
Registriert seit: 02.05.2017

BannedForEveR
Beiträge: 10145
But can it run Crysis?
#11
customavatars/avatar238501_1.gif
Registriert seit: 01.01.2016

Leutnant zur See
Beiträge: 1141
Zitat BessereHälfte;26519653
Na sicher. NV macht jetzt Produkte für die es keinen Markt gibt. Sowas muß man bringen, damit eine Gelegenheit entsteht, die Tollheit der DGX erwähnen zu können.

Der Botschafter gibt aktuell alles was geht ;)


Jeden Tag die Quote an nutzlosem getrolle, muss sein, oder?
Nu bin ich also auch schon Botschafter wenn ich NVidia hinterfrage und mich dafür interessiere welcher Usecase mit so einer Karte abgedeckt wird. Die Logik ist genial!

Du scheinst echt traurig zu sein, dass Dein favorisiertes Team aktuell nicht mehr mitspielt.
Aber keine Sorge, nächstes Jahr darfst Du mich dann als AMD Botschafter hinstellen, wenn ich mich für Navi und dessen Möglichkeiten interessiere. Oder Zen2, der ein heißer Kandidat für mein CPU Upgrade wird.
Hoffe Deine kleine Fabelwelt leidet dann nicht zu sehr darunter.

Außerdem:
Nvidia hat das Produkt nur auf den Markt gebracht, damit ich hier im Forum auf ein Produkt hinweise das im Preissegment eines kompletten Hauses ist. Da ist die Zielgruppe ja definitiv hier im Forum zu finden!
Echt jetzt, komm mal runter von dem nervigen Trip den Du da hast. Wenn Du nichts beizutragen hast, dann lass es halt einfach.
#12
Registriert seit: 03.08.2006

Banned
Beiträge: 1674
Du bist nicht "schon" Botschafter. Das warst du immer.

Zitat
Außerdem:
Nvidia hat das Produkt nur auf den Markt gebracht, damit ich hier im Forum auf ein Produkt hinweise das im Preissegment eines kompletten Hauses ist.
Das wohl kaum, aber du hast dir diese schlechte Gelegenheit trotzdem nicht durch die Finger flutschen lassen.
Du findest eben, du bist ein Pro ;)

Ich sehe Hardware pragmatisch und hab daher keine "favorite Teams". Trotzdem bleib ich interessiert und was mir dabei schwer auf den Geist geht sind außer stumpfsinnigen Fanboys, eben die Botschafter. Sie verlangsamen mit ihrem unterschwelligen Gaga meine pragmatische Erkenntnisgewinnung. Deswegen hast du auf Luxx aktuell auch nicht ganz so leicht wie woanders. Macht aber nichts. Kannst immerhin behaupten, du arbeitest hart...
Um Kommentare schreiben zu können, musst Du eingeloggt sein!

Das könnte Sie auch interessieren:

  • Die GeForce RTX 2080 Ti und RTX 2080 Founders Edition im Test

    Logo von IMAGES/STORIES/2017/GEFORCERTX2080

    Heute nun ist es endlich soweit und wir präsentieren die vollständigen Leistungsdaten und Messwerte zu den beiden ersten Karten der GeForce-RTX-20-Serie von NVIDIA. Nach der Vorstellung der Pascal-Architektur im Mai 2016 sind die neuen Karten für NVIDIA in vielerlei Hinsicht ein... [mehr]

  • Kleiner Turing-Ausbau: Gigabyte GeForce RTX 2070 WindForce 8G im Test

    Logo von IMAGES/STORIES/2017/GIGABYTE-RTX2070-WINDFORCE-LOGO

    Gestern war es soweit und mit der GeForce RTX 2070 startet die vorerst "kleinste" GeForce-RTX-Karte der neuen Serie von NVIDIA. Mit der Gigabyte GeForce RTX 2070 Windforce 8G haben wir ein Partnermodell im Test, denn die Founders Edition ist bislang noch nicht verfügbar. Erwartet wird die GeForce... [mehr]

  • GeForce RTX 2080 Ti von ASUS und MSI im Test

    Logo von IMAGES/STORIES/2017/ASUS-STRIX-RTX2080TI-25_EBA36C79E22348199FB2B590657E5413

    Nach den ersten drei Modellen der GeForce RTX 2080 schauen wir uns nun zwei Custom-Varianten der GeForce RTX 2080 Ti an. Diese stammen aus dem Hause ASUS und MSI, unterscheiden sich äußerlich in einigen Aspekten natürlich, sind sich auf den zweiten Blick aber ähnlicher als man denken möchte.... [mehr]

  • Die GeForce RTX 2080 Ti leidet offenbar an erhöhter Ausfallrate (6. Update)

    Logo von IMAGES/STORIES/2017/GEFORCERTX2080TI

    Reddit und diverse Foren laufen heiß, denn seit einigen Tagen mehren sich die Berichte, nach denen es bei der GeForce RTX 2080 Ti zu einer erhöhten Ausfallrate kommt. Bestätigt ist dies bislang nicht, auch weil belastbare Zahlen fehlen und diese sicherlich nur durch NVIDIA selbst oder die... [mehr]

  • ASUS ROG Strix GeForce RTX 2070 OC im Test

    Logo von IMAGES/STORIES/2017/ASUS-ROG-RTX2070

    Nach dem ersten Einstiegsmodell können wir uns nun auch eines der schnelleren Modelle der GeForce RTX 2070 anschauen. Die ASUS ROG Strix GeForce RTX 2070 OC ist eine typische ROG-Strix-Lösung, die das Maximum aus der Hardware herausholen soll. Allerdings gönnt sich ASUS auch einen... [mehr]

  • GeForce RTX 2080 von ASUS, Gigabyte und PNY im Test

    Logo von IMAGES/STORIES/2017/ASUS-GEFORCE-RTX

    Nach dem Test der GeForce RTX 2080 in der Founders Edition, wollen wir uns nun die ersten Custom-Modelle genauer anschauen. Diese stammen von ASUS, Gigabyte sowie PNY. Zwei Modelle verwenden das Referenz-PCB von NVIDIA, eines baut aber auch schon auf einem eigenen PCB des Herstellers auf. Eine... [mehr]