Die FP16 Leistung gibt's nur mit den Tensorcores und setzt schonmal eine vorkompilierte Tensorrt Engine vorraus.
In "frei verfügbar" hat eine A100 bspw. ~70TFlops was ~ 1/4 der ~300TFlops Tensorcoreleistung ist. Die 600 TFlops gibt's nur mit "sparsity" und Tensorrt Engine, wobei niemand weiß, ab...