[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion

Hm, ist bei euch ChatGPT auch gerade überlastet?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Zumindest im privaten Bereich ist das doch cool wenn man AI ganz viel Freiraum lässt - finde das gerade am Interessantesten - einfach weil die inzwoischen coolen Stuff macht.

es gibt ja so Prompt first Hit Beispiele die aus irgendeinem kommenden Anthropic Modell wohl sind das im "hidden Test" ist - evtl Fable 5.5 die sind doch echt super kreativ auch bei simplen Prompts - auch wenn man bei sowas manchmal vorsichtig sein muss die Prompts kommen glaub auch von relativ seriösen Dudes und sind nicht 500x nachgepromptet :D

Das ist inzwischen echt langsame das Gegenteil vom AI Slop.
 
Inekai schrieb:
Hm, ist bei euch ChatGPT auch gerade überlastet?
Zum Vergrößern anklicken....
Sei froh, dass Du noch Licht in der Bude und einen funktionierenden Kühlschrank hast, Chatty entwickelt gerade 'ne keyboard firmware für mich. :asthanos:
Soll ich Dir Bescheid sagen, wenn ich fertig bin und Du dran bist? :fresse2: /scnr
 
Zuletzt bearbeitet:
Aha :wall:
 
XibariS schrieb:
[]C...hatty entwickelt gerade 'ne keyboard firmware für mich.[...]
Zum Vergrößern anklicken....

DAS ist mal ne Idee! 🎯

Meinst du aber Firmware im Sinne von - Firmware (Bios/Embedded Software) oder eher Software (Im Sinne von "Steuersoftware" "Treiber")? 🤔
 
Pirate85 schrieb:
DAS ist mal ne Idee! 🎯

Meinst du aber Firmware im Sinne von - Firmware (Bios/Embedded Software) oder eher Software (Im Sinne von "Steuersoftware" "Treiber")? 🤔
Zum Vergrößern anklicken....
Zu Zeiten von GPT-4 und GPT-5 hatte ich das zum ersten Mal ausprobiert. Damals kam leider nur Müll dabei raus. GPT-6 ist aber wirklich brauchbar in dem Bereich. Ganz ohne trial and error lief es zwar nicht, aber ich war auch so fies, andauernd nach dem Schema "Salami-Taktik" zu arbeiten und erst auf Nachfrage preiszugegeben, was ich weiß. Aber dennoch: Am Ende wurde aus einer Firmware, die auf QMK basiert und für einen ATmega-Controller gedacht war, eine neue, die mit einem RPi 2040 funktioniert und VIAL kann, wodurch die Tastenbelegung "live" geändert werden kann.
 
Also diese Hybrid Engine, die auch Strata nutzt, ist schon Wahnsinn. Meine schon etwas ältere Hardware ist zwar bis zur Kotzgrenze ausgereizt, aber über 60 Tokens pro Sekunde mit einem fast 50 GB-Modell (Qwen 3.8 Flash Next) sind schon eine Ansage. Ich hatte Strata getestet, aber da hatte ich einige Probleme. Also selber machen:

2026-10-23 10_26_04-.png
 
Gestern hatte ich, bzw Codex, erste Erfolge beim Reverse-Engineering der Software für meinen JPT Galvo-Faserlaser. Der läuft momentan nur mit einer grottigen Software namens EzCAD.

Die Ansteuerung funktioniert in teilen schon.

Das wäre echt ein Traum.
 
Oh ja, ChatGPT hat mir nebenbei ein Infuse Problem gelöst, was ich von Anfang an hatte. Ich hatte es schon einmal mit Grok und Gemini probiert, beide hatten keinen Erfolg. Und Gemini hatte am Ende gemeint, ich solle das ganze zurücksetzen und vorher die iCloud Backups von Infuse entfernen. Natürlich eine grandiose Idee, dann wäre auch überall der "gesehen" Status futsch gewesen. Hatte es damals dann einfach sein lassen. Jetzt habe ich es nochmal mit ChatGPT probiert, die ersten Versuche kamen mir alle bekannt vor bei den meisten hatte ich auch direkt gesagt, dass ich die schon durch habe. Im Grunde ging es um das Problem, dass die Staffel 2 Folge 1 einer Serie immer an erster Stelle bei zuletzt hinzugefügt stand. Nach rund 10 Minuten haben wir dann direkt zwei Schuldige gefunden. Eine Datei aus 2034 und eine andere aus 2038... ich hoffe, er hält die Klappe... ich wollte das mit der Zeitmaschine schließlich noch geheim halten :D

Aber jetzt ist es gefixt und endlich ist die Serie von der ersten Stelle verschwunden. Ganz ungewohnt nach über 2 Jahren
 
Und da war er wieder, der OpenAI komplett Reset. Nur wenn die ständig reseten brauche ich den manuellen nie. :fresse:

Hab mir gerade in 20 Minuten mal ein WebUI App mit Splitloading für FishAudio Drama 3 coden lassen. Da das auf Qwen 3.5 35B A3B basiert, kann man das prima in VRAM und RAM splitten, was mir Sol 6.1 einfach mal so umgesetzt hat, nur eine Lib Abhängigkeit hatte er vergeigt, aber läuft.

1792777937156.png


Jetzt mal damit rumspielen und sehen, ob sich das dazu eignet mir ein Dataset für OmniVoice Training zu erstellen, weil für Live Betrieb ist Drama 3 dann doch etwas groß, OmniVoice braucht nur ~2,7GB VRAM.
 
Zuletzt bearbeitet:
Hoto schrieb:
Und da war er wieder, der OpenAI komplett Reset. Nur wenn die ständig reseten brauche ich den manuellen nie. :fresse:
Zum Vergrößern anklicken....
Jap, auch wenn es hier vor einigen Tagen schon jemand geschrieben hatte. Ich bin dem Hinweis gefolgt und Folge seitdem auf X: https://x.com/thsottiaux er kündigt die Resets zumindest in den wenigen Tagen wo ich folge, immer rechtzeitig an. Ist an sich super gut um das zu Planen. So verschwende ich keine eigenen Resets mehr und wenn er etwas in der Richtung Heute, Reset geschrieben hat... dann weiß ich, das ich mich nicht zurückhalten muss :D

Bis jetzt war es in den Tagen immer so, gelesen irgendwann Vormittags, dass er das vor kurzen gepostet hatte, und zwischen 18 und 20 Uhr kommt dann der Reset. Der Tipp hier mit dem folgen war so gesehen nicht schlecht gewesen. Wenn du einen X Account hast und den Tipp noch nicht umgesetzt hast, feuer frei und Folgen :shot:
 
Puh... heute mal den Supergau schlechthin gehabt... gestern Treiber + GUI + Installer released - alles sah gut aus, hat ohne Probleme kompiliert etc... heute auf Arbeit kam mir die Idee meine Dev-Version mal runterzuhauen und halt einfach meine releaste Version zu installieren.
Joa :fresse: - da gingen die Probleme los... 6 (S e c h s) Fixes waren nötig um alles so zu kriegen wie ich es wollte... da hat u.a. der Compiler einfach mal 800 Zeilen Code (von ~1600 :shot: ) gefressen ohne irgend ne Meldung zu geben. :wall:

Ohne Herbert (Qwen) hätte ich das in den paar Stunden danach niemals fixen können... Egal was Hardliner so von sich geben: KI ist ohne Scheiß nen Segen wenns um Bugfixing oder Tracking von Problemen geht.
Ich hätte sonst TAGE gebraucht. ---> Herbert bekommt im nächsten Release auf jeden Fall nen Credit - mir völlig Bumms was dann irgendwelche "Profis" von sich geben. Ohne ihn hätte ich das so nicht hinbekommen...
 
So Modelle sind ja schon 10 Schritte weiter - da ist full duplex speech nur nen kleines Addon :D

 
Zuletzt bearbeitet:
Ich teste gerade Bonsai 2 in meiner App. Wahnsinn, ist das Modell gut.
 
Zuletzt bearbeitet:
Ich habe mir mal Lmstudio auf meinem System installiert und spiele etwas damit rum.
Welches Modell ist am besten geeignet um sich ein paar kleine Tools programieren zu lassen, auf folgender Hardware?
Am besten wäre natürlich eins was komplett in den VRAm der GPU passt.

Hardware:
RX 9070 XT 16GB
Ryzen 5800X3D
32GB RAM


Ich weiß, das sind nicht die besten Vorraussetzungen für ein lokales LLM, aber für die ersten gehversuche sollte es doch reichen, oder?
 
toscdesign schrieb:
Ich weiß, das sind nicht die besten Vorraussetzungen für ein lokales LLM, aber für die ersten gehversuche sollte es doch reichen, oder?
Zum Vergrößern anklicken....
Ich würde es für den Anfang mal mit Qwen3.5-9b versuchen (6,5Gb - also noch ordentlich Platz für Kontext!) :wink:
Für die Größe sehr gut für Programmierarbeiten oder einfach nur Monitoring deiner Arbeit geeignet.
 
Super danke das probiere ich mal aus 👍

Aktuell nutze ich Qwen3.6 35B A3B, das hatte ich mal irgendwo gelesen. Ist langsam, schmiert manchmal ab.
Die GPU wird auch imemr nur im Sekundentakt belastet, hört man schön am Zirpen.

Dafür sind die Denkvorgänge teilweise echt lustig, wenn es sich selbst korrigiert :d
 
Ist halt für deine GPU ein ordentlicher Klopper :fresse:
Achte darauf das du den GPU Offload auf die höchstmögliche Zahl schiebst ---> Damit nach Möglichkeit das komplette Modell im VRAM landet. Wenn er sich in Denkschleifen verheddert mal die Temperatur auf 0.6 senken, Top K mal auf Standard lassen (weiß gar nicht mehr wieviel das bei Qwen3.5-9b war - 20 oder so?) oder halt mal auf 30 erhöhen - das erhöht die Flexibilität der Denkmuster und verringert die Möglichkeit einer Denkschleife ordentlich - nur halt nicht ZU hoch machen, sonst kommt er nie zu nem Ergebnis weil er über zu viele Möglichkeiten halluziniert. :fresse:
 
Probier ich mal alles aus, alles neu für mich
Mein Experiment war erfolgreich, nach 2h und vielen Bugs und Änderungen.

Hab mir aus Spaß eine TUI in Go bauen lassen, welche die "config" Datei in /home/user/.ssh ausliest und mir eine Auswahl zum Verbinden gibt.
Nichts Weltbewegendes, gibts schon tausendfach, wollte nur ein wenig spielen.


Bildschirmfoto_20261025_011217.png
Die Hosts gibt es nicht, die habe ich nur in die Config File für den Screenshot geschrieben



Und jetzt gehts ins Bett!
 
War wieder mal richtig cool... mein bester war in nem Museum und hat ne Tonne Fotos gemacht, mir dann die Bilder geschickt um sie mal "Herbert" zu zeigen ---> Gemini und ChatGPT haben da nix ordentliches auf die Kette bekommen ---> Herbert hat direkt übersetzt, Zeitrahmen ergründet und sogar rausgefunden wo das Museum ist. :fresse:

Musste ihm dann nochmal erklären wie es sein kann das ich nix für Token etc pp zahle. :shot:
Ist btw. derjenige der mein A4-Gaming System gekauft hat. :wayne: 😆
 
toscdesign schrieb:
Ich weiß, das sind nicht die besten Vorraussetzungen für ein lokales LLM, aber für die ersten gehversuche sollte es doch reichen, oder?
Zum Vergrößern anklicken....
Eher nicht, also ChatGPT 5 konnte gerade mal 500 Zeilen C++ Code in ca. 20 Anläufen produzieren und trotzdem lief der Mikrocontroller wie ein Sack Nüsse. Da kann man auch gleich mit einem Syntax Generator arbeiten. Unter Qwen 27B geht da eher nichts und das ist schlechter als ChatGPT 5.
 
Im Grunde kann man mit 16GB VRAM und 32GB RAM schon Strata (also Qwen 3.8 Flash Next) laufen lassen, allerdings mit deutlichen Einbußen weil eben nur in 1bit. :fresse:


Qwen 3.8 27B könnte als IQ3_XXS GGUF (10,9GB) auch laufen mit ausreichend freiem Platz für den Context.

Das sind so die zwei stärksten Open Weight Modelle in Sachen Coding.
 
Zuletzt bearbeitet:
hithunter schrieb:
Eher nicht, also ChatGPT 5 konnte gerade mal 500 Zeilen C++ Code in ca. 20 Anläufen produzieren und trotzdem lief der Mikrocontroller wie ein Sack Nüsse. Da kann man auch gleich mit einem Syntax Generator arbeiten. Unter Qwen 27B geht da eher nichts und das ist schlechter als ChatGPT 5.
Zum Vergrößern anklicken....
Echt?
Ich will ja keine großen Projekte stemmen, nur ein wenig spielen.
Beitrag automatisch zusammengeführt:

Pirate85 schrieb:
Ich würde es für den Anfang mal mit Qwen3.5-9b versuchen (6,5Gb - also noch ordentlich Platz für Kontext!) :wink:
Für die Größe sehr gut für Programmierarbeiten oder einfach nur Monitoring deiner Arbeit geeignet.
Zum Vergrößern anklicken....
Wie hoch soll ich da den Kontext einstellen? Aktuell steht der auf 16384
 
16k sind halt nicht viel. 🫠
Wie viel lädt er denn in den Speicher wenn du Qwen mit 16k lädst? Ich würde unter 64k nicht anfangen (Mitunter sind die "Spickzettel" mittlerweile schon so groß :fresse: ), übrigens kannst du in LM Studio auch den KV Cache "quantisieren" - ich fahre mit K=Q8_0 und V=Q5_1 - Flash Attention nicht vergessen einzuschalten. : wink:
Das drückt den Platzbedarf vom KV Cache ordentlich bei nicht zu krassem Qualitätsverlust.

<---- muss mir aber tatsächlich Qwen3.5 wieder mal zu Gemüte führen, ne Weile her das ich ihn benutzt habe.

Gucke einfach mal unter Google oder haue Gemini / ChatGPT an - die können dir das super erklären.
 
Sorry hab das falsch in LMstudio gelesen. Das war der minimale Wert.
Aktuell nutzt er 124965 und steigend.

Läuft immer noch komplett auf der GPU
 
Bigdog71 schrieb:
KI ist schon was tolles, hier mal eine Firma die eine klare Zielgruppe hat:
Zum Vergrößern anklicken....

Ja sogar Jensen hat sich verliebt und neue Haustiere für sich gefunden, ab 1h 23:



Unbenannt.jpg
 
Also gerade bringt mich Codex Sol 6.1 zur Weißglut.

WebUI, Ordner Auswahl, soll bestimmte Dateien in einer Dropdown Auswahl Listen. Codex hat es ursprünglich so eingebaut, dass es alle Unterverzeichnisse scannt, was Irrsinn ist. Also ändern lassen. 1. Versuch: hat nicht geändert, immer noch alle Unterverzeichnisse gelesen. 2. Versuch: hat keine Dateien mehr eingelesen 3. Versuch: hat die Dialogauswahl ausgebaut und mir ein Pfad Inputfeld eingebaut in der ich den Pfad manuell eintragen soll. xD
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh