Inference
-
MLPerf Inference 5.1: GB300, MI355X und Arc B60 erstmals mit dabei
Die MLCommons hat heute die nächste Testrunde für Inferencing-Benchmarks in Version 5.1 gestartet und dabei spannende Leistungsdaten zu modernen KI-Beschleunigern veröffentlicht. Als neutrale Organisation kann sie in Kooperation mit den Herstellern oft verlässlichere Ergebnisse bereitstellen, als es die Unternehmen selbst gewöhnlich tun. In den MLPerf-Inference-5.0-Ergebnissen erstmals geführt wurden die Beschleuniger B200 und GB200 von... [mehr] -
MLPerf Inference 4.0: Das Debüt der H200 von NVIDIA gelingt
Die MLCommons, ein Konsortium verschiedener Hersteller, welches es zum Ziel hat, möglichst unabhängige und vergleichbare Benchmarks zu Datacenter-Hardware anzubieten, hat die Ergebnisse der Inference-Runde 4.0 veröffentlicht. Darin ihr Debüt feiert der H200-Beschleuniger von NVIDIA, der zwar ebenfalls auf der Hopper-Architektur und der gleichen Ausbaustufe wie der H200-Beschleuniger von NVIDIA basiert, der aber anstatt 80 GB an HBM2 auf 141 GB... [mehr] -
Artemis: Meta bringt eigenen Inference-Chip in die Rechenzentren
Eigentlich bereits für 2022 geplant, hat Meta nun damit begonnen, eine eigene Inferencing-Hardware in den Rechenzentren zu verbauen. Der Artemis getaufte Chip stellt die zweite Generation der Eigenentwicklung dar, die erste Generation MTIA (Meta Training and Inference Accelerator) konnte 2022 die Erwartungen nicht erfüllen. Wie genau Artemis aufgebaut ist, ist nicht bekannt. Zu MTIA wissen wir hingegen, dass Meta einen ASIC mit einer... [mehr]
