Ich denke auf jeden Fall versuchen - glaube das ist ein solides Setup - die 48 würde ich schon nutzen auch wenn 4-RAM riegel nicht so ideal sind oft - RAM ist halt wichtig. Ist halt immer ganz schwer einzuschätzen aber ich habe nur eine 12 Gbyte Grafik.
die lokalen Modelle sind echt für viele "Heim" Sachen inzwischen ok - bei Strata gibt es auch glaub ein spezielles Coder Modell das würde ich auf jeden Fall anschauen - das weiss vielleicht nicht wie lang der Durchschnittsrüssel von Elefanten ist aber dafür sich viel im Programmier Bereich
Bei 16 + 32/48 RAM würde ich halt ein wenig Abstriche in der Bequemlichkeit machen und die Modelle je nach Aufgabe was ich gerade mit der lokalen AI machen evtl kurz wechseln, da kann die lokale AI aber sich dann ein Bedienpanel zu schreiben dass das auf CLI Command, Tastendruck oder Mausklick geht
Das hier meinte ich
"
Coder is ISTA-DASLab's coding version.It keeps 256 of each layer's 512 experts, chosen on code (with agentic and image data), and drops the rest. Its authorsreport 91% of the full model's SWE-bench Verified score and 99% of LiveCodeBench. There is one size, IQ1_M (expertsstored like IQ3_S); shard 1 is
29.6 GB. A 32 GB RAM computer also needs enough GPU memory and room for buffers;read the launch plan.
It is weaker outside code and in languages other than English, Chinese and other CJK text included. For general use,or whenever RAM allows, take a size that keeps every expert. More:
details.