Ich kann @pwnbert nur zustimmen, für lokale LLM ist 16GB zu wenig, 24GB der Anfang, besser 32GB+.
Ich selbst habe eine P40 mit 24GB und qwen3.8 27b passt mit 128k Kontext noch drauf. Ist zwar auf der Karte sehr langsam.
Allerdings so gut es ist, es ist ne Kontext Schleuder, informiert sich...