[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion

[Yasha]

Letzte Nacht wurde Projekt 4 geboren, wobei der grobe Unterbau aus GitHub kommt. Da gibt es eine Art Grundgerüst für das, was ich will. Leider funktioniert es aktuell nicht wie gewünscht. Aber das lässt sich über die Stunden hoffentlich ändern. Ziel wäre es meine damaligen gebauten Wallpaper Engine Sachen unter macOS benutzen zu können. Die Entwickler selbst weigern sich eine Unterstützung für Mac zu liefern. Und vor einigen Tagen hatte jemand im Forum dort, mitgeteilt, dass er eine Art frühe Alphaversion hat, damit die Sachen unter macOS mit D3DMetal laufen. Er hatte den Entwicklern Zugriff darauf angeboten, natürlich haben die nicht darauf reagiert...

Aber so kam meine Gedanken wieder hoch, dass ich meine Hintergründe zurückwill. Mal gucken, wie weit Projekt 4 am Ende kommt.

 

[Yasha]

Bam, Treffer versenkt würde ich sagen. Wir haben ihn dazu gebracht die Wallpaper Engine Sachen zu laden... aber was noch viel wichtiger ist, wir haben ihm dabei auch direkt einen neuen Effekt beigebracht, der standardmäßig nicht drin war. An sich konnte das GitHub Projekt bis jetzt nur einen einzigen Effekt rendern, jetzt kann es zwei. Und es sieht sogar alles korrekt aus. Keine Grafikfehler, keine komischen Wasserbewegungen... alles passt, würde ich sagen.

Wäre jetzt natürlich der Jackpot, wenn wir ihn auch dazu bekommen, die anderen Effekte zu Rendern

 

[hithunter]

Man kontrolliert es ja dennoch und passt es an - schlimm sind die, die einfach blind alles übernehmen ohne zu kapieren was sie da überhaupt gerade gemacht (machen lassen) haben...

Macht man das denn nicht bei jeder Software, testen bis zum umfallen? Also bei mir fangen die Versionen 0.1.Rxx an und hören irgendwo bei R100 mal auf.

 

[Pirate85]

Ich hab mittlerweile auch mal meinen ersten Fork auf Github draußen. 🥳

 

[Hoto]

ChatGPT mal wieder.

Wenn Timestral zuverlässig die Lottozahlen vorhersagen könnte, hätte Mistral das Modell wohl kaum kostenlos auf Hugging Face veröffentlicht.

Leider kann es nur Muster aus vergangenen Daten erkennen. Bei einer fairen Lottoziehung gibt es aber keine verwertbaren Muster, die zukünftige Zahlen verraten.

Immerhin: Mit seinen 209 Millionen Parametern kann es dir hochprofessionell vorhersagen, dass du wahrscheinlich wieder nicht gewinnst.

Wollte herausfinden ob Timestral von Mistral für irgendwas für mich brauchbar sein könnte. Muss sagen ich selbst sehe für mich keinen Einsatzzweck. Es nimmt halt vorhandene Daten und sagt auf der Basis zukünftige Daten voraus. Mehr als eine Spielerei würde ich darin für mich aber nicht sehen.

 

[Daniels87]

Heute noch keine News von OpenAI. Ich rieche einen Reset.

 

[Hoto]

Würde passen, so alle 2 Tage die letzte Woche über gabs jetzt einen Reset. xD

 

[HansBohne]

Ui Strata ist ja echt gut :O und das tut auch auf vorhanderer "Mittellklasse" Hardware - hab das mal auf einem 7900 mit 12 Gbyte 4070ti und 96 gb ddr5 6000 laufen lassen - echt beeindruckend - fast auf Opus 4.8 "low bis medium" Niveau. Und das ohne dass man 10.000 oder 20.000 investieren "muss" - ich hatte so ~ 50 tokens / sec............... für 0 Euro Invest ein echt gutes Ergebnis

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. - Niko1221/Strata

github.com

Es ist natürllich weit weit von aktuellen Frontier Modellen weg - aber für einen "super günstigen" Heim AI Server muss ich sagen krass - ist glaub schon die neue Qwen 4 "AI Auslager" Technologie.

 

[Hoto]

Ja, Bijan Bowen hatte heute einen Test hochgeladen, er hat ein 3D Rennspiel mit Qwen3.8 27B, Next Flash und zum Vergleich mit Opus 4.6 gemacht, erstere beide haben ein mehr oder weniger spielbares Rennspiel erstellt, bei dem man noch etwas tweaken müsste und man könnte es gut spielen. Das von Opus 4.6 hat hingegen völlig versagt, war nicht spielbar, hat keine richtige Strecke hingekriegt, konnte nur ein paar Meter fahren bis man gegen eine unsichtbare Wand raste und nicht mehr von da weg kam, die NPCs sind bei Start direkt umgedreht und in die andere Richtung gefahren um ebenfalls gegen eine unsichtbare Wand zu fahren. xD

Also krass wie gut die Modelle sind, auch wenn sie noch weit weg von Frontier Modellen sind. Trotzdem kann man schon einiges damit anfangen, was vor nem Jahr nicht mal Frontier Modelle hinbekommen hätten.

Hier noch das Video:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[Pirate85]

Qwen3.8-27b ist derzeit mein Arbeitstier... Ich war regelrecht geschockt wie sehr der so manchen Konkurrenten, vor allem so ziemlich alles in seiner Gewichtsklasse, einfach mal stehen lässt.

Aktuell basteln wir an nem Musikplayer (Für Touchbedienung geeignet) für meinen kleinen Monitoring-Monitor... gibts einfach absolut nix passendes
Entweder mit Albumcover [Wer braucht sowas?!] oder mit drölf Playlists und Bibliothekkram...

Dann gibts paar Minimale wie Amberol oder Folderplay... Amberol wäre perfekt wenns nicht auch UNBEDINGT nen Albumcover anzeigen müsste... Folderplay verursacht einfach mal 8-10% CPU Auslastung durch Overhead - ansonsten wäre der Top gewesen (Bugreport eingereicht, mal gucken)...


Also was bleibt über? ---> Selber machen. Mal gucken ob wir das gebacken kriegen... das ist nicht so einfach wie nen Monitoring-Tool. 🙄


Dat Dingen muss in die kleine Lücke rechts oben reinpassen und alles haben damit man es via Touch bedienen kann (Ist nen 10" USB-C Alt Touch-Monitor).

 

[HansBohne]

Strata ist halt cool weil man evtl nix kaufen muss trotz Mittelklasse Hardware - sonst kann man ja mit 12 gig gpu eher nix machen

 

[hithunter]

Ui Strata ist ja echt gut :O und das tut auch auf vorhanderer "Mittellklasse" Hardware - hab das mal auf einem 7900 mit 12 Gbyte 4070ti und 96 gb ddr5 6000 laufen lassen - echt beeindruckend - fast auf Opus 4.8 "low bis medium" Niveau. Und das ohne dass man 10.000 oder 20.000 investieren "muss" - ich hatte so ~ 50 tokens / sec............... für 0 Euro Invest ein echt gutes Ergebnis

Es ist natürllich weit weit von aktuellen Frontier Modellen weg - aber für einen "super günstigen" Heim AI Server muss ich sagen krass - ist glaub schon die neue Qwen 4 "AI Auslager" Technologie.

Leider liegt der Quantensprung innerhalb der letzten zwei Monaten und somit sind die lokalen LLMs leider ziemlich dumme Werkzeuge und Qwen ist massiv abgehängt. Die Kosten zwar nichts, bringt aber einen ja auch nichts wenn man Strom wie ein Weltmeister benötigt und trotzdem nicht da erreicht was man mit einen 20 Dollar günstigen Abo Modell erreichen kann.

 

[Pirate85]

Oh wee... Genau das ist es ja... was man LOKAL ausführen kann. 🙄

Cloud kann jeder. (Cloud KI mit Lokaler KI zu vergleichen ist wie nen VW Käfer gegen nen Bugatti Chiron - man kommt mit beiden ans Ziel, aber mit dem einen halt nen *bisschen* schneller. )

 

[hithunter]

Mag sein aber mir sind die Lokalen Modelle einfach zu schlecht, nicht zu langsam, sondern schlecht. Wäre das nur die Geschwindigkeit, dann könnte man darüber hinweg sehen.

 

[Pirate85]

Was machst du denn was nen lokales Modell nicht mit präzisen Prompts hinbekommt? 🤔☕

Edith: Also Qwen kann ungefähr 10x so effizient programmieren und das locker 1000x so schnell, ohne dauernd sich selbst Notizen machen zu müssen. 🤣

 

[hithunter]

Was machst du denn was nen lokales Modell nicht mit präzisen Prompts hinbekommt? 🤔☕

Reverse Engineering, komplexe Python Programme mit Decoder. Mikrocontroller Steuerung in C++ mit mehr als 1000 Zeilen Code. 3D Konstruktion/3D Modelle nach Beschreibung. Mal die 3D Modelle ausgenommen, weil dass das schwerste Feld ist. Aber richtig coden und vor allem Code verstehen könne die lokalen Modelle für mich nicht ausreichend. Und bei C++ ist ein absolut sauber Code mit guter Architektur (Speicherverwaltung etc.) nötig, ansonsten läuft der Mikrocontroller nicht stabil. Mit dem 20 Euro Abo nun kein Problem mehr.

 

[Pirate85]

Interessantes Betätigungsfeld hast du da.

Dann müsste KI deinen Arbeitsfluss ungefähr um Faktor 1000 beschleunigt haben.

Edith an mich selbst; Wenn dich dein KI Kompanion darauf aufmerksam macht das du für dein Projekt lieber CustomTkinter nutzen solltest anstatt irgendwas mit Canvas rumzuhacken... und du dich fragst was das ist...
Tjoa... ich denke so langsam sind wir aufeinander "eintrainiert". 🙄


Edit *8h später;

Vom Spike ~0300:

Zur Version 1.0 ~6h später:


Skalierung arbeitet top, musste mich erst noch ganz schön reinfriemeln um CustomTkinter so zu kriegen wie ich wollte - aber das lag nur an mir, nicht an "Keule" ( )
Früher hätte ich für sowas Tage gebraucht.

 

[Yasha]

Wunderbar, alle Wallpaper die ich damals mit Wallpaper Engine unter Windows erstellt habe, laufen mittlerweile wie gewünscht. Aber entweder hat OpenAI, etwas am Token verbrauch bei Sol 6.1 gering geändert... oder aber diese Renderpipline Geschichten sind ein echter Tokenfresser. Meistens war ich nach 90 bis 180 Minuten schon im 5h Limit gewesen. Zwischendurch gab es auch Mal Hinweise in Richtung Astra wäre für diese Art von Aufgaben besser geeignet, weil schneller und tieferes denken... aber dann wäre ich vermutlich nach 10 Minuten schon im Limit gewesen

Und natürlich kommen jetzt, wo die fertigen wieder laufen direkt neue Ideen. Wenn ich die alten Wallpaper schon abspielen kann, warum kein Editor um die nochmal zu ändern oder komplett neue zu basteln. Und wenn wir schon dabei sind, ich wollte damals immer Feuer für Kerzen, gab es nicht. Und auch jetzt ergab die Suche nicht so wirklich etwas. Scheint es also immer noch nicht zu geben... warum also nicht direkt einen neuen Effekt bauen und das Feuer für die Kerzen reinbringen...

Aber aktuell hänge ich natürlich wieder im 5h Limit fest

 

[HansBohne]

Mag sein aber mir sind die Lokalen Modelle einfach zu schlecht, nicht zu langsam, sondern schlecht. Wäre das nur die Geschwindigkeit, dann könnte man darüber hinweg sehen.

Aber das doch kein entweder / oder ?

Man kann wenn man ein lokales Modell hat weiter auch die Frontier Modelle nutzen - das lokale ist doch nur zusätzlich. z.b. für so Sachen aus der Heimautommmaton permanent auswerten usw.

So Sachen die permanent laufen sind doch cool - denke das lokale kann auch problemlos wenn man API hat auch Frontier Modellle nutzen wenn es das was superkomplexes umsetzen soll als Software z.B.

 

[Hoto]

Muss gestehen, aktuell nutze ich auch kaum lokale Modelle, aus den gleichen Gründen. Solange ich nichts habe, wofür Datenschutz wichtig wäre, sehe ich aktuell noch keinen Grund wieso ich lokal coden sollte. Das mag sich aber zukünftig verschieben oder falls ich mal etwas habe, was ich nicht mit Cloud KI teilen möchte.

Interessantes Betätigungsfeld hast du da.

Dann müsste KI deinen Arbeitsfluss ungefähr um Faktor 1000 beschleunigt haben.

Edith an mich selbst; Wenn dich dein KI Kompanion darauf aufmerksam macht das du für dein Projekt lieber CustomTkinter nutzen solltest anstatt irgendwas mit Canvas rumzuhacken... und du dich fragst was das ist...
Tjoa... ich denke so langsam sind wir aufeinander "eintrainiert". 🙄


Edit *8h später;

Vom Spike ~0300:
Anhang anzeigen 1237227
Zur Version 1.0 ~6h später:
Anhang anzeigen 1237242

Skalierung arbeitet top, musste mich erst noch ganz schön reinfriemeln um CustomTkinter so zu kriegen wie ich wollte - aber das lag nur an mir, nicht an "Keule" ( )
Früher hätte ich für sowas Tage gebraucht.

Noch ein Lifehack: Klicke mal eines der Fenster an, drücke Alt + F3, da geht oben links ein Menü auf, dort auf "Weitere Aktionen" und im nächsten Menü "Ohne Titelleiste und Rahmen". Bitte.

 

[Pirate85]

...Noch ein Lifehack: Klicke mal eines der Fenster an, drücke Alt + F3, da geht oben links ein Menü auf, dort auf "Weitere Aktionen" und im nächsten Menü "Ohne Titelleiste und Rahmen". Bitte.

Nope, leider nicht - aber danke. 😕



Das dürfte das Menü sein was du meinst - aber die Option gibts da nimmer, schon ne Weile nicht. 🤔
(Bin sehr neu unter Gnome - unter KDE Plasma war das nen Kinderspiel. Gnome ist sehr... restriktiv... um es mal vorsichtig auszudrücken ---> Aber Arbeitsflussmäßig absolut der Hammer.)

 

[Hoto]

Ja, stimmt, unter KDE Plasma gibt es das eben, kann sehr praktisch sein. Dann wäre Gnome schon mal nichts für mich, mir ist KDE Plasma teils noch zu restriktiv, ich liebe Optionen.

 

[Pirate85]

Genau deshalb war ich so lange weg von Gnome
Aber - warum auch immer - unter Ubuntu funktioniert ROCm hervorragend und unter Fedora KDE (Habe ich vorher benutzt) ging da kein Weg rein. 😬

Ich mein, ich könnte auch Kubuntu nehmen... aber ehrlich gesagt mag ich Gnome langsam - ist erfrischend anders.

 

[Hoto]

Ich kenne nur wirklich KDE Plasma, wollte nicht ewig rumprobieren und hat mir auf Anhieb gefallen, auch wenn sich inzwischen hier und da Schwächen rauskristalisiert haben.

Kannst ja mal KI fragen wie du die Titelleiste wegkriegst. Unter Windows gab es da eigentlich auch immer ein Hack dafür und wenn das unter Windows geht...

 

[Pirate85]

Da sagste was. 😆
Es gibt Mittel und Wege sage ich mal, aber das Fenstermanagement (Bzw Arbeitsflächenmanagement) ist halt um die Leisten aufgebaut, damit man sie auch in der kleinen Ansicht super zuhordnen/umordnen kann.
Ich gucke mir das auf jeden Fall mal an ---> Echt gute Idee.

 

[Yasha]

Sehr passend, jetzt hat mir die Wallpapergeschichte mein Wochenlimit verballert und Reset wäre erst am Donnerstag gewesen. Jetzt wollte ich gerade ein Reset Opfern, den ich da noch liegen hatte und siehe da, alles auf 100 %. Scheinbar hat OpenAI just in den Moment ein Reset für alle durchgeführt. Damit kann ich mir meinen Reset doch noch aufheben

Aber schon erstaunlich, wie schnell die Tokens bei einigen Sachen dahinschmelzen. Am Wochenlimit hatte ich bis jetzt noch nie gekratzt...

 

[Hoto]

Ja, ich war gerade am Planen, wollte nachgucken wie viel ich dafür gerade bereits verpulvert habe und... stand beides auf 100%.
Toll, jetzt weiß ich erst nicht wie viel Token ich für die Planung verballert hatte. j/k

Wofür hab ich eigentlich noch 3 Resets, wenn ich nie dazu komme die zu nutzen. 🙃
Aber an sich passt das schon, mit meinen bis noch 29.10. zwei Plus Accounts.

Edit: jetzt hab ich es mit Astra doch übertrieben, 80% weggeballert. xD

 

[HansBohne]

Hmmm ich hab mal strata auf meiner ollen gaming kiste mit einem frischen linux installiert und etwas länger getestet komme auf 80-90 tokens / sec (inkl image erkennung aktiviert) und 128k context, was ja für daheim gar nicht so schlecht ist - denke das reicht für so netten Kleinkram.

Bildererkennung tut auch gut - konnte die alle verstehen, die ich ihm gegeben habe und auch so Text rauslesen etc.

Und ich lasse "echte" 6400 ddr5 aktuell noch mit bios default 4800 laufen - vielleicht sind 100 drin - dann steck ich zumindest Grok und Mistral in die Tasche

 

[hithunter]

Gegenfrage, was macht ihr denn alles wo euch die lokale KI noch ausreicht?

 

[HansBohne]

Naja noch nicht so viel läuft bei mir ja jetzt erst - aber so schlecht ist qwen3.8 IQ3_S nicht - hab mal so ein paar esp32 sachen gegeben (Mqtt mit Lora) die liefen problemlos durch - jetzt kommt auf das system noch hermes oder openclaw drauf

Es ist kein Opus 5.5 .... aber gefühlt ~ Opus 4.7 - nur langsamer bei mir das strata QWEN 3.8 ist ein 125B Parameter Modell das schon echt ein kleines Monster für lokal.

Für so Alltagsstuff in Linux und Co rund so kleine Coding Geschichten reicht das Dicke - GTA 6 eher nicht.