Ich meine die 125B Architektur von 3.8 Flash Next wird es auch auf 4 geben - weil die Architektur im wesentlich gleich bleibt "lediglich" neue Weights (und kleinere Änderungen) Das 125B läuft auch mit 12 + 96 Gbyte echt gut (als 3S ~ 3,5 Quantifizierung)
[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion
- Ersteller Jolokia
- Erstellt am
TobiasWendt
Neuling
- Mitglied seit
- 31.10.2026
- Beiträge
- 2
Mit 12 GB VRAM plus 96 GB RAM geht das bei so einem MoE-Modell vor allem deshalb, weil pro Token nur ein Bruchteil der Experten aktiv ist. Die Attention-Layer und den KV-Cache auf die GPU, die Expert-Gewichte in den RAM, dann ist man eher durch die RAM-Bandbreite begrenzt als durch die Grafikkarte. Mit Dual-Channel DDR5 landet man da realistisch im einstelligen bis niedrigen zweistelligen Bereich an Tokens pro Sekunde, je nach Quantisierung und Kontextlänge.
Was mich interessieren würde: Wie viele t/s schaffst du konkret bei der ~3,5-Bit-Quant, und mit welcher Kontextgröße? Bei langen Kontexten bricht das Prompt-Processing bei Offloading ja oft deutlich stärker ein als die eigentliche Generierung, und das merkt man im Alltag mehr als die reine Ausgabegeschwindigkeit.
Und zum Thema neue Weights bei gleicher Architektur: Das wäre praktisch, weil dann die vorhandenen Tools und Offload-Einstellungen direkt weiter funktionieren. Bei kleineren Änderungen am Tokenizer oder an den Attention-Layern kann es trotzdem ein paar Tage dauern, bis llama.cpp und Co. sauber nachziehen. Würde also nicht am ersten Tag mit perfekten Quants rechnen.
Was mich interessieren würde: Wie viele t/s schaffst du konkret bei der ~3,5-Bit-Quant, und mit welcher Kontextgröße? Bei langen Kontexten bricht das Prompt-Processing bei Offloading ja oft deutlich stärker ein als die eigentliche Generierung, und das merkt man im Alltag mehr als die reine Ausgabegeschwindigkeit.
Und zum Thema neue Weights bei gleicher Architektur: Das wäre praktisch, weil dann die vorhandenen Tools und Offload-Einstellungen direkt weiter funktionieren. Bei kleineren Änderungen am Tokenizer oder an den Attention-Layern kann es trotzdem ein paar Tage dauern, bis llama.cpp und Co. sauber nachziehen. Würde also nicht am ersten Tag mit perfekten Quants rechnen.
ich hab 256k kontext und bin bei so >= 75 tokens Output auch bei etwas grösseren Sachen. Habe aber meine 4070 auf PowerLimit 150. Hab da mal einige Benchmarks laufen lassen so wie erstelle mal die Formel für Gravitation 
und 150W war kaum Verlust zu 200W 140W war tatsächlich ein grösserer Knick.
Ich nutze lokal eher für kleinere bis mittlere Sachen und mit pi.dev da komme ich mit 256k Kontext meist ganz gut hin. Für grössere nutze ich halt frontier.
Hab die Tage auf YT so ein Video geschaut - meine das war mit Intel Anpassungen für QWEN - bei dem einer Qwen 3.8 flash next mit 4.0 verglichen hat mit der Intel Sachen und da war so 99% der internen Architektur der Modelle identisch - denke man kann also hoffen dass es auch irgendwann ein 125B für strata gibt
Aber finde 256k ist gar nicht soooo wenig.
Anthropic wird aber sicher vor dem Börsengang auch doch noch was rauskloppen wo man sicher mal wieder sagt krass.
Ich hab mal mit solidcraft heute so kleinkram machen lassen per integriertem mcp und codex - echt super weil das tatsächlich sauber die solidcraftz tools nutzt und man dann eine echte Timeline hat wo man alles einzeln bearbeiten kann - das ein viel besseres Team für mich als ai + mcp + freecad - freecad ist doch etwas anspruchsvoller.
und 150W war kaum Verlust zu 200W 140W war tatsächlich ein grösserer Knick.Ich nutze lokal eher für kleinere bis mittlere Sachen und mit pi.dev da komme ich mit 256k Kontext meist ganz gut hin. Für grössere nutze ich halt frontier.
Hab die Tage auf YT so ein Video geschaut - meine das war mit Intel Anpassungen für QWEN - bei dem einer Qwen 3.8 flash next mit 4.0 verglichen hat mit der Intel Sachen und da war so 99% der internen Architektur der Modelle identisch - denke man kann also hoffen dass es auch irgendwann ein 125B für strata gibt
Aber finde 256k ist gar nicht soooo wenig.
Anthropic wird aber sicher vor dem Börsengang auch doch noch was rauskloppen wo man sicher mal wieder sagt krass.
Ich hab mal mit solidcraft heute so kleinkram machen lassen per integriertem mcp und codex - echt super weil das tatsächlich sauber die solidcraftz tools nutzt und man dann eine echte Timeline hat wo man alles einzeln bearbeiten kann - das ein viel besseres Team für mich als ai + mcp + freecad - freecad ist doch etwas anspruchsvoller.
Zuletzt bearbeitet:
keepailimitsseparate
Neuling
- Mitglied seit
- 02.11.2026
- Beiträge
- 2
ChatGPT und Codex: Gemeinsames Nutzungskontingent ab Dezember 2026
OpenAI hat angekündigt, ab Dezember die Nutzungskontingente von ChatGPT und Codex zusammenzulegen. Anspruchsvolle ChatGPT-Unterhaltungen sollen dann mit Codex um dasselbe tokenbasierte Kontingent konkurrieren. Instant bleibt ausgenommen.
Ich nutze ChatGPT Plus intensiv für Softwareentwicklung und Sicherheitsforschung.
Als Work bei der Einführung standardmäßig aktiviert war, habe ich damit ganz normale Unterhaltungen geführt. Nach ungefähr 15 Minuten war mein verfügbares Nutzungskontingent erschöpft.
Deshalb habe ich beim OpenAI-Support nachgefragt.
Die Antwort vom 2. November: Die genauen zukünftigen Kontingente und Verbrauchsregeln sind noch nicht veröffentlicht. OpenAI kann derzeit auch nicht garantieren, dass Plus-Abonnenten ihre bisherige Nutzungskapazität behalten.
Für mich ist das bei 23 € monatlich problematisch, da ich ChatGPT mehrere Stunden täglich benötige.
Mich würde interessieren, was andere intensive Nutzer davon halten.
Wäre ein gemeinsames Kontingent für euch akzeptabel, oder wäre das ein Grund, euer Abonnement zu kündigen?
OpenAI hat angekündigt, ab Dezember die Nutzungskontingente von ChatGPT und Codex zusammenzulegen. Anspruchsvolle ChatGPT-Unterhaltungen sollen dann mit Codex um dasselbe tokenbasierte Kontingent konkurrieren. Instant bleibt ausgenommen.
Ich nutze ChatGPT Plus intensiv für Softwareentwicklung und Sicherheitsforschung.
Als Work bei der Einführung standardmäßig aktiviert war, habe ich damit ganz normale Unterhaltungen geführt. Nach ungefähr 15 Minuten war mein verfügbares Nutzungskontingent erschöpft.
Deshalb habe ich beim OpenAI-Support nachgefragt.
Die Antwort vom 2. November: Die genauen zukünftigen Kontingente und Verbrauchsregeln sind noch nicht veröffentlicht. OpenAI kann derzeit auch nicht garantieren, dass Plus-Abonnenten ihre bisherige Nutzungskapazität behalten.
Für mich ist das bei 23 € monatlich problematisch, da ich ChatGPT mehrere Stunden täglich benötige.
Mich würde interessieren, was andere intensive Nutzer davon halten.
Wäre ein gemeinsames Kontingent für euch akzeptabel, oder wäre das ein Grund, euer Abonnement zu kündigen?
Ich hatte die Mail dazu vor einigen Stunden bekommen... aber so wie ich es verstanden habe, würde es mich nicht betreffen. Ich benutze für meine Projektplanung ChatGPT im Web auf Instant, und da gibt es wohl weiterhin keine Limits. Zumindest habe ich es so verstanden. Wenn es natürlich noch weniger wird, wird es wieder recht unattraktiv. Ich komme schon so nicht sehr weit mit meinem Plus Account. Und der Sprung auf Pro ist mir einfach zu heftig.
ich denke einfach, dass man irgendwann halt bezahlen muss was es wirklich kostet 🤷♂️
Und professionell eingesetzt sind 100€ oder auch 200€ im Monat auch egal.
keepailimitsseparate
Neuling
- Mitglied seit
- 02.11.2026
- Beiträge
- 2
Das sehe ich etwas anders.
Professionelle Nutzung bedeutet nicht automatisch, dass man damit bereits entsprechend Geld verdient.
Ich entwickle beispielsweise eigene Software und betreibe unabhängige Sicherheitsforschung. Gerade bei Bug-Bounty-Programmen kann man Hunderte Stunden investieren, ohne einen einzigen Euro einzunehmen. Eine Vergütung gibt es nur, wenn eine Schwachstelle gefunden, anerkannt und tatsächlich prämiert wird.
Aber selbst wenn 100 oder 200 € monatlich wirtschaftlich vertretbar wären, wäre das eigentliche Problem damit nicht gelöst.
Auch die teureren Abonnements haben Nutzungskontingente. Sie garantieren keine bestimmte Anzahl produktiver Arbeitsstunden. Ist das Kontingent erschöpft, muss man warten oder gegebenenfalls zusätzliche Credits kaufen.
Und genau hier wird es schwierig: Der Verbrauch hängt vom Modell, der Komplexität der Aufgabe und dem Umfang der Verarbeitung ab. Wie viel eine mehrstündige Analyse letztlich an Kontingent oder zusätzlichen Credits kostet, lässt sich im Voraus kaum zuverlässig bestimmen.
Wir haben uns beispielsweise mit automatisierter Multiagenten-Sicherheitsforschung beschäftigt. Ein untersuchtes Forschungssetup kam auf ungefähr 56 € Rechenkosten pro Stunde. Bei acht Stunden wären das bereits 448 € – ohne jede Garantie, dass dabei eine vergütete Schwachstelle entdeckt wird.
Natürlich entspricht das nicht unmittelbar den Preisen eines ChatGPT-Abonnements. Es verdeutlicht aber, warum nutzungsabhängige KI-Kosten bei solchen Aufgaben schnell wirtschaftlich problematisch werden.
Interessant finde ich auch die Rückmeldungen anderer professioneller Nutzer zur geplanten Umstellung.
Im offiziellen Codex-GitHub-Repository hat sich beispielsweise ein ChatGPT-Business-Kunde zu Wort gemeldet, der mehrere Business-Lizenzen für seine Arbeit als IT-Systemadministrator verwendet.
Er erklärt ausdrücklich, dass die bisherige Trennung zwischen ChatGPT-Reasoning und Codex/Work einer der wichtigsten Gründe war, ChatGPT statt Claude einzusetzen.
Auch im OpenAI-Entwicklerforum melden sich Business-Nutzer, deren umfangreiche Arbeitsabläufe von der Zusammenlegung betroffen sein könnten. Einige stellen inzwischen sogar einen Anbieterwechsel in Aussicht.
Es geht also keineswegs nur darum, dass Plus-Abonnenten möglichst viel KI für 23 € haben möchten.
Es geht darum, dass OpenAI einen wesentlichen Vorteil seiner bisherigen Abonnements beseitigen möchte, ohne die zukünftige effektive Nutzungskapazität offenzulegen.
Auf meine schriftliche Nachfrage hat der OpenAI-Support am 2. November bestätigt, dass er den Erhalt der bisherigen Nutzungskapazität für Plus derzeit nicht garantieren kann.
Ich habe überhaupt nichts dagegen, für leistungsfähige KI einen angemessenen Preis zu bezahlen.
Aber gerade bei professioneller Nutzung muss ich kalkulieren können, welche Leistung ich für mein Geld bekomme.
Ein teureres Abo mit weiterhin unbekanntem tatsächlichem Nutzungsumfang löst dieses Problem nicht.
Und deshalb bleibt für mich die entscheidende Frage: Warum muss die technische Zusammenführung von ChatGPT, Work und Codex überhaupt mit der Zusammenlegung ihrer bisher getrennten Nutzungskontingente verbunden werden?
Beitrag automatisch zusammengeführt:
Ja, das hast du richtig verstanden. Instant soll weiterhin unbegrenzt nutzbar bleiben und nicht auf das neue gemeinsame Kontingent angerechnet werden.
Betroffen sind vor allem Nutzer, die regelmäßig mit High oder Extra High arbeiten oder zusätzlich Codex und Work verwenden.
Bei komplexer Softwareentwicklung und Sicherheitsforschung macht der zusätzliche Reasoning-Aufwand allerdings einen erheblichen Unterschied. Instant kann diese Modelle nicht immer ersetzen.
Interessant finde ich, dass du selbst sagst, dass du mit Plus schon jetzt nicht besonders weit kommst und Pro zu teuer ist.
Genau da liegt für mich das Problem. Wenn anspruchsvolle ChatGPT-Unterhaltungen künftig zusätzlich das Codex-/Work-Kontingent verbrauchen, könnte sich die Situation für intensive Nutzer noch verschlechtern.
Wie groß das gemeinsame Kontingent tatsächlich wird, hat OpenAI bislang nicht veröffentlicht.
Ich denke, du hast den falschen zitierst und wolltest eigentlich @scrollt nehmenDas sehe ich etwas anders.
Ich bin aber aktuell auch am überlegen, ob ich noch etwas dazunehmen soll. Sonst bekomme ich meine Wallpaper App irgendwie nie fertig. Wie ich schon schrieb, die ersten Gehversuche waren noch ganz entspannt was die Limits anging. Sobald es aber komplex und aufwendig wird, kannst du die Limits beim Dahinschmelzen zugucken... bleibt an Ende nur die Frage, wie sinnvoll ist es zwei KI-Agenten an einer App Coden zu lassen. Ich habe mir vorhin bei X den verlauf zur Enttäuschung mit dem zusammenlegen angeguckt. Einige haben geschrieben das sie gekündigt haben und zu Claude oder eben Grok Bot gegangen sind.
Bei Grok gibt es aktuell ein Angebot für 1 Monat Premium für 16 Euro anstatt 31 Euro, über X... Und dann eben nur die Aussage 4x Nutzung im Gegensatz zu Plus... aber wer weiß, wie lange ich am Ende mit dem 4-mal mehr wirklich komme. Und dann noch viel wichtiger, wie gut funktioniert es am Ende wenn da Codex und Grok an der App herumbasteln....
Fragen über Fragen... am Ende waren meine Erfahrungen mit Grok was das Erstellen von Scripten für macOS anging aber auch nicht so gut. Der erste Versuch hat im Grunde nie funktioniert, nachdem er die Fehlermeldung bekommen hatte, hieß es dann immer, ach, du willst es für macOS... ja, dann muss das und jenes abgeändert werden. Ähm ja, ich habe doch direkt immer am Anfang geschrieben, dass ich ein macOS Script will...
Vielleicht probiere ich das für 16 Euro einfach mal einen Monat aus... ich kann ja mein Projekt sicherheitshalber mehrmals irgendwo hinsichern... falls es eine volle Katastrophe wird
ich sag ja: alles läuft darauf hinaus, dass man irgendwann das bezahlen muss, was es kostet. Wir leben in einer von Superreichen subventionierten KI Subscription Bubble. Viel mehr steckt da nicht hinter.
Ich nutze Claude Code und es ist ABSURD was mir das Teil für 100€ baut, auch 20€ sind irre. ChatGPT für 20€ ist zum programmieren extrem mager, da bin ich eher enttäuscht. Dafür kann es Bilder generieren und besser schreiben imo.
Ich nutze Claude Code und es ist ABSURD was mir das Teil für 100€ baut, auch 20€ sind irre. ChatGPT für 20€ ist zum programmieren extrem mager, da bin ich eher enttäuscht. Dafür kann es Bilder generieren und besser schreiben imo.
Hm, das wäre ärgerlich, weil ich das normale ChatGPT auch oft nutze, um Informationen zusammenzutragen und da sind mir gute Ergebnisse wichtig. Mit Instant werden diese Ergebnisse deutlich schlechter und vor allem auch deutlich weniger vertrauenswürdiger.
Naja, dann muss ich diesen Monat mal meine lokale KI weiter ausbauen um ChatGPT in der Hinsicht entlasten zu können. War eh klar, dass es für mich mehr und mehr Richtung lokaler KI gehen würde und mit meiner Hardware kann ich zumindest ein bisschen was abfedern.
Naja, dann muss ich diesen Monat mal meine lokale KI weiter ausbauen um ChatGPT in der Hinsicht entlasten zu können. War eh klar, dass es für mich mehr und mehr Richtung lokaler KI gehen würde und mit meiner Hardware kann ich zumindest ein bisschen was abfedern.
Astra hat die weights von Qwen angepasst und die Ergebnisse erheblich verbessert. KI verbessert KI.
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, well past what we’d expect from humans or conventional algorithms.
rikiyat.github.io
Astra war wieder fleißig und hat an meinem Faserlaser Projekt weiter gearbeitet.
Nachdem es beim analysieren des Boards einen freien Schrittmotorausgang gefunden hat, ist mir die Idee einer Drehplattform als Werkstückzufuhr gekommen.
Mein OpenAI Dot hat den Auftrag bekommen, das zu konstruieren. Bedingung war: So einfach wie möglich, so aufwendig wie nötig. Die teile müssen 3D druckbar sein oder aus 3 oder 5 mm HDF mit meinem Diodenlaser schneidbar sein. Weitere Vorgabe war ein 608er Kugellager und der Schrittmotor meines defekten Ender 3, weil die Teile schon vorhanden sind.
Am Kopf des Lasers wird eine Kamera befestigt, sie ist für die Erkennung des Artikeltyps, der Farbe und für die Positionierung und Ausrichtung des Artikels.
Die Werkstückhöhe wird in der Software zu jedem Artikel hinterlegt, durch die automatische Erkennung des Artikels fährt die Z-Achse in die richtige Höhe.
In Blender wurden dann verschiedene Belichtungs-Settings getestet, um die ideale Belichtungssituation zu finden und die richtigen LED Module bestellen zu können.
Zur Farberkennung dreht sich die Scheibe ca. 15° zur Seite, für die Positionierung dreht sich die Scheibe mittig in den Arbeitsbereich des Lasers, anschließend noch die Positionskontrolle mit verschiedenen Prüfmustern mit der Laservorschau.
Ich bin wirklich erstaunt wie einfach das mittlerweile geht. Bis auf ein paar Promts, größtenteils per Sprachnachricht, und Maße am Laser nehmen habe ich nicht viel gemacht. Die Druckdateien habe ich vom Dot fertig mit Bambustudio gesliced bekommen, inkl. Settings, Support, Druckpausen für eingedruckte Muttern etc.
Nachdem es beim analysieren des Boards einen freien Schrittmotorausgang gefunden hat, ist mir die Idee einer Drehplattform als Werkstückzufuhr gekommen.
Mein OpenAI Dot hat den Auftrag bekommen, das zu konstruieren. Bedingung war: So einfach wie möglich, so aufwendig wie nötig. Die teile müssen 3D druckbar sein oder aus 3 oder 5 mm HDF mit meinem Diodenlaser schneidbar sein. Weitere Vorgabe war ein 608er Kugellager und der Schrittmotor meines defekten Ender 3, weil die Teile schon vorhanden sind.
Am Kopf des Lasers wird eine Kamera befestigt, sie ist für die Erkennung des Artikeltyps, der Farbe und für die Positionierung und Ausrichtung des Artikels.
Die Werkstückhöhe wird in der Software zu jedem Artikel hinterlegt, durch die automatische Erkennung des Artikels fährt die Z-Achse in die richtige Höhe.
In Blender wurden dann verschiedene Belichtungs-Settings getestet, um die ideale Belichtungssituation zu finden und die richtigen LED Module bestellen zu können.
Zur Farberkennung dreht sich die Scheibe ca. 15° zur Seite, für die Positionierung dreht sich die Scheibe mittig in den Arbeitsbereich des Lasers, anschließend noch die Positionskontrolle mit verschiedenen Prüfmustern mit der Laservorschau.
Ich bin wirklich erstaunt wie einfach das mittlerweile geht. Bis auf ein paar Promts, größtenteils per Sprachnachricht, und Maße am Laser nehmen habe ich nicht viel gemacht. Die Druckdateien habe ich vom Dot fertig mit Bambustudio gesliced bekommen, inkl. Settings, Support, Druckpausen für eingedruckte Muttern etc.
ekaputrigame
Neuling
- Mitglied seit
- 26.10.2026
- Beiträge
- 4
Die Sache mit den Gewichten hat für mich auch eine unangenehme Seite: In der Spieleszene wird gerade diskutiert, dass sich solche Modelle zum Dekompilieren einsetzen lassen – für alte Engines und Preservation ein Segen, für schnelle Mods und Cheats eher ein Problem. Ich bin gespannt, ob die Studios darauf mit eigenen Werkzeugen reagieren oder weiter nur mit Sperren. Verbieten lässt sich das Wissen ohnehin nicht.
Was cheaten angeht, finde ich das eigentlich ganz gut. Zum einen müssen die Anbieter sich mehr anstrengen, zum anderen, weil mit KI jeder leicht cheaten kann, trocknet der Markt für Cheat Tools vielleicht endlich aus.
Richtig coolen Usecase für mich entdeckt: Home Assistent.
Was man damit alles auslesen steuern und auswerten kann wollte ich schon immer machen. Mangels Zeit, vertiefter Programmierkenntnisse aber nie umgesetzt.
Mit Claude/chatgpt ist das ja jetzt der knaller.
"ich will das und das umsetzen, wie Steuer ich das an? Programmiere mir die Umsetzung. Hierfür gibt es keine fertige Lösung, gib mir eine Bauanleitung und implementiere das Gerät, usw.."
Wie ein riesen Sandkasten.
Was man damit alles auslesen steuern und auswerten kann wollte ich schon immer machen. Mangels Zeit, vertiefter Programmierkenntnisse aber nie umgesetzt.
Mit Claude/chatgpt ist das ja jetzt der knaller.
"ich will das und das umsetzen, wie Steuer ich das an? Programmiere mir die Umsetzung. Hierfür gibt es keine fertige Lösung, gib mir eine Bauanleitung und implementiere das Gerät, usw.."
Wie ein riesen Sandkasten.
MCP hab ich mich auch lange herumgewurstelt. Aber die sind schon sehr praktisch, wenn die KI direkten Zugriff per API auf eine App kriegt und diese so direkt steuern kann. Aber besser dann öfters mal Backups der App Daten machen, bevor die KI diese zerschießt. Und natürlich nur Zugang für Dinge geben, die die KI lesen darf. Wenn man es aber richtig einstellt, wird man eh vorher gefragt, ob die KI die Anfrage an die App stellen darf.
Hm, keine Ahnung wie das passiert ist, aber ich baue gerade eine lokale Spiele-DB auf, der aktuell aus dem lokalen Heroic (GoG, Epic) und Steam Launcher die Spiele in meinem Besitz rausliest und über Online APIs Daten ergänzt. Wofür das Ganze? Damit meine lokale KI diese DB durchsuchen kann. 
Ich befürchte da wird am Ende deutlich mehr daraus als ich aktuell geplant habe. 🫠
Ist ärgerlich das SteamDB keine API hat und es nicht erlaubt automatisch Daten auszulesen. Bräuchte ich nur für ein paar Spiele, die nicht mehr im Steam Store sind bzw. nicht mehr im deutschen Steam Store.
Ich befürchte da wird am Ende deutlich mehr daraus als ich aktuell geplant habe. 🫠
Ist ärgerlich das SteamDB keine API hat und es nicht erlaubt automatisch Daten auszulesen. Bräuchte ich nur für ein paar Spiele, die nicht mehr im Steam Store sind bzw. nicht mehr im deutschen Steam Store.
stimmt, das ist schon immer etws nervig, "hier ist der code, sage mir aber noch wie dieser und dieser sensor oder connector heißt"
Na steht auf jedenfall auf der Todo Liste - aber die ist lang
Will erstmal noch bissl Shelly Kram einbinden und was mit EPS32 Sensoren bauen.
Na steht auf jedenfall auf der Todo Liste - aber die ist lang
Will erstmal noch bissl Shelly Kram einbinden und was mit EPS32 Sensoren bauen.