[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion
- Ersteller Jolokia
- Erstellt am
Meine bisherigen Erfahrungen mit ChatGPT und co. sind eher negativ behaftet. Gerade wenn man irgendwas spezielleres sucht oder mal ne strukturierte Fehlerbehebung machen moechte ist recht schnell feierabend und man endet schnell in irrefuehrende Sackgassen. Wenn man das Thema selbst in eine Richtung lenkt, dann bleibt das Modell darin 'Stecken' und schaut quasi nie ueber den Tellerrand hinaus. Kosten/Nutzen ist fuer mich absolut nicht gegeben. Da verschwendet man Lebenszeit und endlos viele Resourcen fuer nichts und wieder nichts. Hatte zumindest gehofft, dass man sich das 'googlen' dadurch etwas erleichtern kann - fehlanzeige sobald die Themen ein wenig Tiefer gehen oder hoehere technische Komplexitaet mit Zusammenhaengen vorliegt. Aktuell schaden mir die Sachen eher, als dass sie mir nuetzen.
Liesel Weppen
Urgestein
KIs verwenden einen "Kontext" in einer Session. Dieser ist limitiert, weil Speicher dafür benötigt wird und damit teuer. Entsprechend ist die Menge an Kontext die eine KI "behält" vorallem in den kostenlosen Angeboten recht beschränkt. Ist der Kontext einmal voll, fliegt bei der nächsten Frage alter Kontext raus. Und genau da fängt die KI dann an sich im Kreis zu drehen... und weil der Kontext eben limitiert ist, kann der für komplexere Sachen auch generell zu klein sein.
Gerade weil das so ist, sollte man für jeden Themenblock eine neue Session starten und somit mit einem leeren Kontext anfangen. Themenwechsel innerhalb einer Session (und damit Kontext) mögen die KIs daher überhaupt nicht. Nur so als Hinweis, falls du erschwerend auch noch immer wieder in der selben Session weiterschreibst.
Auch wenns ins Detail geht kann eine neue Session für die nächste Detailstufe hilfreich sein.
Ich benutze sehr viel Perplexity und stelle da zunehmend eher das Gegenteil fest.
Der merkt sich alles was ich mit dem bespreche und stellt zunehmend unglückliche Zusammenhänge dar, holt altes Zeug hoch was gar nicht mehr relevant ist.
Denke man kann das irgendwie zurücksetzen, muss ich mal noch rausfinden.
Der merkt sich alles was ich mit dem bespreche und stellt zunehmend unglückliche Zusammenhänge dar, holt altes Zeug hoch was gar nicht mehr relevant ist.
Denke man kann das irgendwie zurücksetzen, muss ich mal noch rausfinden.
Liesel Weppen
Urgestein
Vielleicht ist der Kontext ja auch kein FiFo, sondern es werden andere Sachen bevorzugt rausgeworfen, z.B. welche die als "weniger relevant" betrachtet werden.
Klingt aber jedenfalls nach Kontext-Problem, egal ob die KI nichtmehr folgen kann, weil der Kontext schon voll ist, oder ob irgendwelche seltsamen Zusammenhänge gezogen werden, weil noch irgendwelches altes Zeug im Kontext ist.
Hier ein aktuelles Paper zu diesem Sachverhalt:
arxiv.org
LLMs Get Lost In Multi-Turn Conversation
Large Language Models (LLMs) are conversational interfaces. As such, LLMs have the potential to assist their users not only when they can fully specify the task at hand, but also to help them define, explore, and refine what they need through multi-turn conversational exchange. Although analysis...
arxiv.org
Ich habe gerade gesehen dass Gemini 3.1 Pro in Antigravity gelistet ist. Das werde ich später testen. Gemini 3.0 Pro war nicht wirklich gut, finde ich.
Was ich für mich herausgefunden habe: Wenn ich ein neues Projekt starten will, lass ich den kompletten Plan einmal unter den ganzen Top-Modellen wie in einer Diskussionsrunde auseinander nehmen, und meistens einigen sich die KI-Modelle dann auf einen gemeinsamen Konsens. Also z.B. Codex 5.3, Opus 4.6, Grok 4.2 und jetzt wahrscheinlich auch noch Gemini 3.1. Ist ganz spannend die Argumentation zu verfolgen. 😅
Was ich für mich herausgefunden habe: Wenn ich ein neues Projekt starten will, lass ich den kompletten Plan einmal unter den ganzen Top-Modellen wie in einer Diskussionsrunde auseinander nehmen, und meistens einigen sich die KI-Modelle dann auf einen gemeinsamen Konsens. Also z.B. Codex 5.3, Opus 4.6, Grok 4.2 und jetzt wahrscheinlich auch noch Gemini 3.1. Ist ganz spannend die Argumentation zu verfolgen. 😅
Zuletzt bearbeitet:
Daunti
Urgestein
Das ist weniger das LLM selbst als vielmehr die Schicht darüber die eine Zusammenfassung deiner bisherigen Eingaben mit in den Kontext spuckt.
Ja, dieses KI Memory System ist generell noch ein Problem und dann hat man als Nutzer auch noch viel zu wenig Kontrolle darüber, wann, wie und was überhaupt aus dem KI Speicher gelesen werden soll. So oft ließt es Informationen aus vergangenen Gesprächen bei denen ich nicht will, dass die KI das tut. Manchmal führt das zu absolut unbrauchbaren Antworten anstatt das es hilft. Löschen will ich diese Erinnerungen dann aber auch nicht, weil ich sie an anderer Stelle brauche. Gerade bei ChatGPT ist es außerdem lächerlich, dass man extra Projekte anlegen kann, bei der man einen eigenen Verhaltsprompt etc. nutzen kann, aber es steht klar dort, dass das LLM auf alle Beiträge, auch außerhalb des Projekts, zugreifen kann und die Option zum umstellen ist ausgegraut. Das macht für mich die Projekt Funktion absolut sinnlos.
Liesel Weppen
Urgestein
Ist für dich ein "vergangenes Gespräch" eine Fortführung eines ganz anderen Themas innerhalb der selben Session?
Weil eigentlich verwertet ChatGPT nicht Inhalte aus anderen Sessions.
Du musst alte Sessions doch nicht löschen. Aber wenn du ein gänzlich anderes Thema hast, solltest du das halt in einer neuen Session behandeln. Wenn dir dann irgendwas einfällt, was auf eine ältere Session aufbaut, kannst du ja in der alten Session weiterschreiben.
Aber der Kontext einer Session ist halt beschränkt, also ewig in einer Session weiterschreiben, auch wenn du das alles für "zusammenhänged" hältst, wird halt irgendwann überlaufen.
Sicher, das du das richtig verstehst?
Ich hab kein bezahltes ChatGPT, aber bei Copilot gibts z.B. Agents und Instructions.
Mit Agents kann man quasi "Makros" anlegen. Also umfangreichere Prompts "einfach" ausführbar zu machen, ohne jedesmal das komplette Prompt hinschreiben zu müssen.
Ich hab da z.B. eins damit kann ich der KI einfach sagen "commit check". Im Agent ist dann definiert was er da alles tun soll, z.B. Sourcecodekommentare auf Rechtschreibung zu prüfen, gucken ob noch irgendwo auskommentierte Sourcecodezeilen rumstehen, etc.
Instructions gebens der KI allgemeine Hinweise. Da kann ich z.B. reinschreiben, das die KI bei Anfragen auch immer Interfaces und Mocks mitchecken soll, falls es solche gibt.
Wenn es bei ChatGPT etwas wie "Project" gibt, dann klingt das für mich genau danach. Man kann eben allgemeine Hinweise für ein "Projekt" festlegen.
Beides funktioniert natürlich in jeder Session. Macht den Kontext aber nicht sessionübergreifend.
Also wenn ich in der einen Session sage "füg mir eine neue Methode hier und da ein", dann erkennt die KI anhand der Instructions, das das auch ins Interface soll.
Wenn ich aber eine neue Session starte, dann hat die KI nichtmehr im Kontext, das ich in einer anderen Session gerade eben erst diese Methode einfügen hab lassen.
Alles in allem ist auch so eine KI nur ein Tool.... und man muss halt auch erst lernen, wie man damit umgeht und es "korrekt" benutzt.
Abstrakter:
Wenn du eine KI fragst, wieviel Salz in die Hühnersuppe gehört, dann machst du das in einer Session.
Wenn du danach eine KI fragst wie sich das Gewicht von Gegenständen unter unterschiedlichen Gravitationen verhält, solltest du das in einer neuen Session tun.
Und wenn du dann aber nochmal fragen willst, wieviel Pfeffer in die Suppe gehört, dann machst du das wieder in der Hühnersuppen-Session. Dann weiß die KI auch noch aus dem Kontext, das es um Hühnersuppe geht, auch wenn du nichtmehr nochmal extra "Hühner" dazu schreibst.
Wenn du das natürlich alles in der selben Session machst, dann ist die KI irgendwann halt "verwirrt".
Oder noch abstrakter:
"Wieviel Salz soll in Hühnersuppe"
-> 1g
"Und wieviel Salz soll in Gulaschsuppe"
-> 3g
"Und wieviel Pfeffer muss rein"
-> dann ist auch ein Mensch verwirrt, weil er sich nicht sicher ist, ob du dich jetzt auf die Hühner- oder Gulaschsuppe beziehst, wobei ein Mensch (und vermutlich auch die KI) sich auf das letzte Thema berufen wird, also auf die Gulaschsuppe.
Wirklich sicher wäre ich mir da dann aber weder bei der Antwort eines Menschen noch bei der Antwort einer Ki.Oder noch anders: Jede Session ist ein separater Gesprächspartner, wobei der eine nicht weiß, was du dem anderem gesagt hast.
Wenn ich zu dir sage "füge Blubb ein", dann tust du genau das. Wenn ich dann sage "ne, nenns doch lieber Blah", dann bennennst du Blubb eben in Blah um, weil du kontextgemäß verstehst, worauf ich mich beziehe.
Wenn ich dann allerdings in einer ganz neuen Session/einer anderen Person sagen würde "nenns doch lieber Blah", wird die wohl eher mit "WTF willst du von mir" reagieren.
Zuletzt bearbeitet:
Nein, ich meine schon in Form eines neuen Chatverlaufs (Neuer Chat). Wenn ich in den Optionen unter Personalisierung "Gespeicherte Erinnerungen berücksichtigen" anschalte, kommt zusätzlich noch die Option "Chatverlauf berücksichtigen" zum Vorschein > "Lässt ChatGPT alle vorherigen Gespräche beim Antworten berücksichtigen."
Das ist es eben, es sind nicht immer gänzlich andere Themen. Ich diskutiere mit ChatGPT z.B. viel über KI Themen an sich, teilweise einfach allgemein, teilweise für mein eigenes Projekt und ChatGPT versteht, so wie das Memory System aufgebaut ist, nicht, wenn ich zwar über ein KI Theme rede, weil ich es interessant finde, aber das nichts mit meinem eigenen Projekt zu tun hat. Mit "Projekt" meine ich hier jetzt nicht die Projekt Funktion von ChatGPT, nur damit es nicht zum Missverständnis kommt.
Das ist eh klar, war gefühlt aber schon mal länger wie es aktuell ist. Mit steigendem Kontext geht eben auch, einfach ausgedrückt, die Antwort Qualität runter. Daher öffne ich natürlich bei einem völlig neuem Thema eine neue Session.
Ich denke schon. OpenAI ist bei der Namenswahl nicht immer treffsicher, wie eben das "Chatverlauf berücksichtigen", ohne Beschreibung klingt es nach dem aktuellen Chatverlauf, was aber auch wenig Sinn machen würde.
Ja, für so etwas ist das praktisch, aber das normale ChatGPT ist ja weniger für so etwas wie Coding da, dafür gibts ChatGPT Codex als VS Code Plugin. Habe ich aber noch nicht so ausführlich genutzt. Codex ist irgendwie lange an mir vorbei gegangen. Erst vor nem Monat rausgefunden das ich das mit meinem Abo kostenlos nutzen kann.
ChatGPT selbst nutze ich eher für einfachere Dinge. Alltags Recherche, Planung für mein Projekt und so.
Ja, das ist bei ChatGPT Codex genau.
Ich nutze ChatGPT ja seit es damals raus kam, mit Pausen, damals teilweise noch von mehreren Monaten, da ich mich lieber auf lokale KIs konzentriere. Inzwischen nutze ich ChatGPT täglich mal mehr mal weniger stark, aber über Zeit kam so viel an Funktionen und anders Zeug dazu, dass ich mir manchmal selbst unsicher bin, ob ich es wirklich "korrekt" benutze. Ich will mich auch schon seit 2 Jahren mit Tool Calling, RAG usw. beschäftigen, aber irgendwie kam bisher immer irgend etwas dazwischen.Alles in allem ist auch so eine KI nur ein Tool.... und man muss halt auch erst lernen, wie man damit umgeht und es "korrekt" benutzt.
Wo wir gerade beim Thema RAG sind. Ich baue mir gerade ein Dokumentenmanagementsystem, weil Paperless NGX nicht in meine Struktur passt.
Das Parsing erfolgt über Docling und teilweise PaddleOCR V1.5, Metadatenextraktion über Microsoft Phi-4-mini, Embedding/Vektorisieren via BAAI/bge-m3 in eine Qdrant Vektordatenbank. Ein KI-Agent kannt also semantische Vektorsuche mit einer klassischen Stichwortsuche kombinieren, und erhält sehr schnell die entsprechende Antwort zurück, auch wenn zehntausende Dokumente archiviert sind. Somit würde die komplette Pipeline lokal relativ ressourcenschonend laufen. Das Problem kommt eher danach. Ich habe meine verschiedenen Programme über LangGraph-Agenten angebunden, aber "kleine" Modelle, die auf meinem Server lokal laufen würden, sind einfach zu schwach. Da kommt oft nichts sinnvolles raus. Da die Suche in der Vektordatenbank ggf. mehrere Ergebnisse zurück bekommt, muss der Kontext verstanden und logisch interpretiert werden. Und meine Firmendaten möchte ich auch nicht unbedingt über eine API außer Haus geben. Aber somit wäre der Grundstein gelegt, und wenn bessere Hardware für einen vernünftigen Kurs verfügbar wird oder die kleinen Modelle noch besser werden, ist das ganze schnell implementiert.
Ich verwende Codex meistens in KiloCode, hier hat man unter anderem den Orchestrator Modus, da kann die KI automatisch zwischen den Modi umschalten. Das läuft dann besonders im "YOLO"-Modus (keine manuellen Freigaben erforderlich) richtig gut durch. Projekte werden dann auch in viele kleine Sub Tasks aufgeteilt und automatisch gestartet, damit nicht ein Agent mit Kontext überflutet wird.
Das Parsing erfolgt über Docling und teilweise PaddleOCR V1.5, Metadatenextraktion über Microsoft Phi-4-mini, Embedding/Vektorisieren via BAAI/bge-m3 in eine Qdrant Vektordatenbank. Ein KI-Agent kannt also semantische Vektorsuche mit einer klassischen Stichwortsuche kombinieren, und erhält sehr schnell die entsprechende Antwort zurück, auch wenn zehntausende Dokumente archiviert sind. Somit würde die komplette Pipeline lokal relativ ressourcenschonend laufen. Das Problem kommt eher danach. Ich habe meine verschiedenen Programme über LangGraph-Agenten angebunden, aber "kleine" Modelle, die auf meinem Server lokal laufen würden, sind einfach zu schwach. Da kommt oft nichts sinnvolles raus. Da die Suche in der Vektordatenbank ggf. mehrere Ergebnisse zurück bekommt, muss der Kontext verstanden und logisch interpretiert werden. Und meine Firmendaten möchte ich auch nicht unbedingt über eine API außer Haus geben. Aber somit wäre der Grundstein gelegt, und wenn bessere Hardware für einen vernünftigen Kurs verfügbar wird oder die kleinen Modelle noch besser werden, ist das ganze schnell implementiert.
Ich verwende Codex meistens in KiloCode, hier hat man unter anderem den Orchestrator Modus, da kann die KI automatisch zwischen den Modi umschalten. Das läuft dann besonders im "YOLO"-Modus (keine manuellen Freigaben erforderlich) richtig gut durch. Projekte werden dann auch in viele kleine Sub Tasks aufgeteilt und automatisch gestartet, damit nicht ein Agent mit Kontext überflutet wird.
Zuletzt bearbeitet:
Hat wer Erfahrung mit Claude und dem Pro Plan? Beim ersten mal hat er mit dem Free Plan relativ lang geholfen. Heute wollte ich weiter machen, hat er nach kurzer Zeit den Dienst verweigert. Also habe ich den Pro Plan gebucht, jetzt hat er wieder nach kurzem den Dienst bis 17:00 gesperrt. Das passt mir gar nicht...
Ich verwende deswegen Cursor, und dort größtenteils Sonnet/Opus. Wenn man möchte kann man in einem Rutsch seine monatlichen Token verballern. Das nervt einfach wenn man eine Zwangspause machen muss.
So viel bekommt man aus dem Cursor Ultra Plan ungefähr raus. Es ist 50% günstiger als direkt über die Anthropic API.
Wieviel man in den Anthropic Plänen bekommt, habe ich nirgends gefunden.
Meinst Du bringt es was, einen neuen Chat zu starten? Müsste dann halt wieder diverse Screenshots und Daten liefern. Aber der Grossteil aus der Unterhaltung läuft halt schon.
Ja, nach der Zwangspause grrrrr hat es dann funktioniert. Muss man Claude lassen, aufs Coden versteht er sich besser als Gemini.
Nee, er war Exekutive ...