Welche lokale KI verwenden zum Programieren?

[Runlevel5]

Hallöchen.
Ich beschäftige mich nun ein paar Monate mit verschiedenen KIs.
Der hintergedanke war das sie mir ein oder mehrere Scripte erstellt die ich auf meinem NAS (ugreen) laufen lasse und so autmatisch verschiedene dinge laufen.
Klappt auch wunderbar. Dann habe ich die KI benutzt um mir eine Windows APP zu Programieren (in Python) woraus ich eine EXE gebaut habe und kann dann mit der APP meine scripte Steuern,Editieren, Cronjobs editieren, Container machen...
Nun bis jetzt wad die Google Gemini echt hilfreich. Vor allem die Pro oder Thinking (Modus).
Aber die sind ja Zeitlich begrenzt. Nur die Fast ist es nicht. Da sie mir aber immer wieder die Scripte verhaut oder was ändert und nix mehr geht,
will ich es Lokal auf meinem Rechner laufen lassen.
Was meint ihr? was soll ich da benutzen? wie genau einrichten?
Welche Modelle? Soll ja irgendwie mit meiner Hardware funktionieren.
Wichtig ist mir vor allem das es die KI nicht verhaut. Also wenn wir kleine Änderung im Code machen will ich nicht das die gleich die ganze App zerschiesst oder Knöpfe verschwinden.
Gab schon alles deswegen.
Die scripte die ich benutze sind für mein Nas gebaut (ugreen basiert auf Debian) und die APP mit der ich das ganze im Griff habe Läuft auf Windows 11 und ist in Python gebaut.
Die Gemini hat mir ein Builder gebaut den ich starte und der baut mir aus der .py datei eine Exe und ein Patcher habe ich auch wo ich nur eingeben muss welchen teil ich ändern will und der Patcht mir den Code.

Was meint ihr? was wäre gut nutzbar? ich weiss ich habe keine besondere GPU dafür. Speicher und CPU gibts ja auch. Ist mir echt egal ob das Ding lange braucht da keine GPU leistung. Das Ergebniss ist wichtig.

 

[passat3233]

Ich halte von KI zum Programmieren wenig.
Ja, es kommt meist lauffähiger Code dabei heraus, aber:
Das ist oft Spaghetticode, d.h. der Code ist unnötig aufgebläht.
Ein erfahrener Programmierer macht deutlich schlankeren Code.
Und ein erfahrener Programmierer kann den Code auch bzgl. Geschwindigkeit und Ressourcenbedarf (Größe der .exe, RAM-Bedarf) optimieren.
Und auch bzgl. Sicherheit (KI-.generierter Code hat oft Sicherheitslücken).

 

[mz_z]

Schau dir mal das hier an:

https://unsloth.ai/docs/de/modelle/qwen3.5

Mit einer langsamen GPU ist die A35B-A3B-Variante die richtige für dich, idealerweise ab 4 Bit aufwärts, sofern dein VRAM+RAM dafür ausreichen. In Benchmarks ist sie grob auf dem Niveau von Sonnet 4.5.

Laufen lassen kannst du das Modell mit OpenCode:

https://github.com/anomalyco/opencode/blob/dev/README.de.md

Zum einfachen Ausprobieren mit gui sind lmstudio und Jan AI gut geeignet.

 

[Liesel Weppen]

Ich halte von KI zum Programmieren wenig.
Ja, es kommt meist lauffähiger Code dabei heraus, aber:
Das ist oft Spaghetticode, d.h. der Code ist unnötig aufgebläht.
Ein erfahrener Programmierer macht deutlich schlankeren Code.
Und ein erfahrener Programmierer kann den Code auch bzgl. Geschwindigkeit und Ressourcenbedarf (Größe der .exe, RAM-Bedarf) optimieren.
Und auch bzgl. Sicherheit (KI-.generierter Code hat oft Sicherheitslücken).

Ein Programmierer benutzt eine KI um sich Tipparbeit zu sparen, weil die KI sinnvolle und umfangreiche Vorschläge machen kann. Die übernimmt ein Programmierer aber selbstverständlich nicht ungeprüft. (Mein KI-generierter Codeanteil erreicht an guten Tagen an die 50% des insgesamt geänderten Codes )

Jemand der nur mal schnell ein paar Pythonskripte zusammenkloppt ist kein Programmierer, wird nicht sonderlich daran interessiert sein, ob das Spaghetticode ist oder nicht und den juckt auch meistens die Performance nicht. Wäre die Performance im speziellen Interesse, würde er schonmal grundsätzlich nicht Python benutzen.

Das was du da beschreibst kommt raus, wenn man eine KI nicht "zum programmieren" benutzt, sondern die KI komplett programmieren lässt. Das machen hauptsächlich die Leute, die eben keine Programmierer sind.
Und da hat KI-generierter Code sicherlich auch nicht mehr Sicherheitslücken, als wenn sich so jemand selbst Codesnippets von Stackoverflow zusammenkopiert.

 

[Schmufix]

Qwen3.5 hat so ein gewissen Querdenker Faktor, ist mal was anderes.

 

[Gouvernator]

GPT-OSS 20B ist nicht schlecht. Qwen 3 Coder mit 80B, GPT-OSS 120b wenn es größer sein soll. Ansonsten noch das neue Qwen 3.5 27B oder Nemotron 3 Nano 30B. Sehr easy mit LM Studio und dem CLINE Agent in VS Code.