Hmm, mal probieren, in openwebui kann man sich auch die tokens/s anzeigen lassen, mal sehen, wie ich da mit dem seed rumspielen kann.
Die 200 Tps in llama3.2 sind schon krass, ist das so viel besser, obwohl kleiner?
Zum Angebot:
Danke, aber nein, denn das Problem an Maxwell ist
a) jede GPU...