Neuer AI-Server

[Bigdog71]

Ist halt so ne Sache, das MoE ist schon ~3x so schnell wie Dense.
Schwer zu erklären, aber wenn der die ganze Sache mal länger wird, so >50k Kontext, hab ich das Gefühl, dass das MoE irgendwie etwas "schlampiger" wird.

Das habe ich auch gemerkt mit Gemma4. Wie gesagt zum Chatten und eingebunden in Home Assistant Voice für Tool Calling okay, aber Coding, nicht wirklich.

Die Frage ist, ob du dir einfach ne 2. P40 holst, mit 48gb wäre nämlich bequem Platz für so viel Kontext, wie man will. Lahm isses, evtl. mit MoE als Q5 oder Q6 leben, was die Sache genauer machen dürfte.

Ich muss sagen mit Qwen 3.6 27b Q4 bin ich jetzt soweit zufrieden. Für mal hier und dort etwas machen zu lassen läuft es gut. Kontext habe ich auf 64k hoch, passt noch auf die Karte. Es hat eben für eine Stunde eine Fehleranalyse inkl. Fix komplett selbst durchgeführt und dabei über 50k Kontext generiert

Da ich über nvidia-smi noch etwas VRam sehe, gehe ich auf 96k Kontext im nächsten Schritt und sollte damit gut durchkommen.

Also erstmal Geld sparen und langsam weiterkommen

 

[besterino]

Mal ne vermutlich blöde Frage: für Coding-Anwendungen macht man lokal primär aus Kostengründen, oder? Mir fällt da zu meinen Ideen jedenfalls nix ein, was nicht in eine Cloud dürfte…?

 

[pwnbert]

Naja, aus Kostengründen ist relativ, da musst schon ordentlich Token machen, damit sich das "lohnt"... man das mit 27 token/s schafft? Sind 100k pro Stunde, also 1M pro Tag (mit 10 Betriebsstundnen pro Tag). Für Qwen 3.5/3.6 27/35b dürften 1M Token so ca. 1€ kosten. 10h bei 250W sind 2,5kWh, je nach Strompreis wirds da schon eng, wenns nur 20ct/kWh sind kommst auf 50ct/10h. Für 500€ brauchst dann mal 1000 Volllast-Stunden.

Ist halt ne Einstellungssache und "weil mans kann" und "weil mans will".
Ist aber auch nix, was hier diskutiert werden soll.

Geht auch viel ums Lernen und darauf, sich auf "eine neue Zeit" "vorzubereiten" und Kompetenz zu sammeln, ne Art persönliche Weiterbildung.
Ich gehe nicht davon aus, dass AI so "frei" bleiben wird, zumindest nicht für den Mainstream.
Z.B. gibts noch gar keine Werbung in AI, man will aber damit beginnen. Es wird der Zeitpunkt kommen, wo die Consumer-AI-Models sowas von voller Werbe-Bloat ist wie Google zu seinen "besten" Zeiten. Lang wirds nicht dauern. Jede Wette.

 

[besterino]

naja, wenn’s um Lernen geht ist für mich „Anwenden lernen“ zurzeit noch wichtiger als „AI-Model-Server aufsetzen lernen“. Aber wenn das hier nicht hingehört, auch völlig fein.

 

[mae1cum77]

Ich weiß, dass es hier um lokale Serverver geht. Hab ein qwen-coder2.5-14-Q4 hier am laufen.

GOOGLE API DESASTER!!!

1. Der online AI-Chat im Browser ist verbunden.

2. In VS Code gibt die Gemini-Extension einen HTTP:403 == INVALID auf mein OAuth2 Token, das ist von Google direkt == KANN NICHT SEIN!!!

3. ANDROID: Die Google Play Services laufen erst AMOK!, Dann versuchen sie andauernd meine Gemini-App zum Neustart zu ZWINGEN. Die haben erhöhte System-Rechte, aber sind nicht ''TI''.

4. Mein Smartphone hat gestern über den Tag 2 VOLLE AKKU-ZYKLEN verbraucht!!!! 2 mal von 5% auf 100%!!!


Das ganze begann als SCHNAPS-IDEE(!!!) eines ALPHABET-Mitarbeiters, der anscheinend bei dem Gedanken, wieviel Geld der online Browser-Chat, der ja FREI ist, wohl VERBRENNT, graue Haare bekam. Alphabet ist der MANAGEMENT-BLOB von GOOGLE!!! AKA der "WASSERKOPF"!!!

Kurz danach verschwindet nach einem Refresh von FF der AI-Chat im Browser.

Danach werden via VS Code Update die Gemini-Extensions AKTUALISIERT!!! ERGEBNIS:: Ich erhalte auf ein GOOGLE-AUth2-Token in VS Code einen HTTP: 403 ... das ist absurd!

Es erscheint ein neues Play Services Update: Ergebnis: Die GPS versuchen die Gemini-Apps auf allen Android Smartphoness (ALLEN!!) zurückzusetzen um eine neue Token-Auth zu erzwingen. Das führt zu einer massiven Feedbck-Schleife == ROW-HAMMER-ATTACK auf das GOOGLE-API-Backbone.

Das hat hat die Google-Server in den Abgrund gerissen, das Backbone wird träge und hört auf zu reagiewren.

Das führt dazu, dass der Angriff exponentiell (log n) wächst.

Das ist ein DESASTER!!! FINANZIELL für alle mit ZEITDRUCK!!!

ADDENDUM: Das war schon teuer, das wirds aber zu Class-Action-Suits führen. Das GANZE ist hier in meinem Gemini-Gemma4-Chat minutiös protokolliert, mit Zeit-Stempeln und den Mails von Google, die meinen mein Mikro ist deaktiviert. Ist es nicht und ich solle doch die App resetten .

Das ist unbezahlbar als BEWEIS!

 

[besterino]

Enthusiast passt zum Profil…

 

[pwnbert]

Herrje.

 

[Bigdog71]

naja, wenn’s um Lernen geht ist für mich „Anwenden lernen“ zurzeit noch wichtiger als „AI-Model-Server aufsetzen lernen“. Aber wenn das hier nicht hingehört, auch völlig fein.

Naja es gibt einen Punkt den man halt bei Gebrauch nicht lernt und das sind die Konfigurationen und Token Sparsamkeit (aufgrund begrenzter Ressourcen).

Ebenso trainiert man sich selbst mit schwächeren Modellen.