Taalas HC1: Llama 3.1 8B für effizientes Inferencing in Silizium gegossen

[HWL News Bot]

Die immer größeren KI-Modelle verlangen nach immer größerem und schnellerem Speicher, was einer der maßgeblichen Motoren in der aktuellen Speicherknappheit ist. Darunter leidet aber die Effizienz im Angebot dieser KI-Modelle, da die Hardware viel und schnellen Speicher benötigt, was sie teuer macht. Das kanadische Unternehmen Taalas hat bereits im vergangenen Jahr den HC1-Beschleuniger angekündigt, der einen anderen Weg gehen soll.
... weiterlesen

 

[Shutterfly]

Puh, das ist doch purer Elektroschrott. Das ist genau so wie damals in "Computern", wo die Software hart im Baustein eingebrannt war.

Ich verstehe den Vorteil in der Performance aber aus Sicht der Umwelt ist das doch totaler Unsinn.

Wohin soll das gehen? Alle 2 Monate eine neue Karte mit einem neuen, geileren Modell? Das ist doch verrückt.

 

[Botcruscher]

Die Verwendbarkeit hängt von der Anwendung ab. Objekterkennung für autonomes Fahren oder die optimierte Steuerung einer Maschine bekommt nicht alle 2 Monate ein neues Modell.

 

[Lachgasschaufler]

Vor allem sehe ich es in zukunft positiv. Ja, das erste orodukt ist noch recht begrenzt. Aber wenn amn mit der zeit grössere sachen in HW machen kann. Entlastet es massiv die grossen anbieter für sachen wo kleine projekte gebraucht werden. Da kann es sinn machen sich so eine HW zu holen und lokal sachen zu machen. Vor allem wenn das anwendungsszenario dann relativ konstant bleibt. Also ich sehe da durchaus potenzial.

 

[Shutterfly]

Die Verwendbarkeit hängt von der Anwendung ab. Objekterkennung für autonomes Fahren oder die optimierte Steuerung einer Maschine bekommt nicht alle 2 Monate ein neues Modell.

Wer ein LLM für Computer Vision oder Steuerung von Maschinen nutzt, ist aber ziemlich falsch abgebogen.