[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion

[scrollt]

der Trend geht laut Keno und Morpheus ja sowieso zur lokalen KI.

na ja, Fortschritte und echte Sprünge werden immer erst die frontier models mit "unbegrenzter" Rechenleistung machen imo.

Open Weight holt halt immer etwas verzögert auf. Was nicht heißt, dass man das auf normaler Hardware laufen lassen kann

 

[Inekai]

Ich teste ja gerne Modelle in meinem Coding Studio und bisher verwendete ich Qwen3.8 27B Coding und Aufgaben. Dann habe ich die Hybrid Engine einbauen lassen, damit ich Qwen 3.8 Flash Next 125B testen konnte. Das war schon Wahnsinn, was das Modell kann. Mittlerweile bin ich bei Bonsai 2 hängengeblieben. Ein sauschnelles lokales Modell, welches mit meinen hohen Token-Einstellungen gerade einmal 12 GB VRam belegt.

Ich habe immer einen Test für die Modelle: Mache mir eine ultramoderne Landingpage! Das ist das ganze Prompt. Ich bin immer wieder erstaunt, was die Modelle mit diesem einfachen Prompt mittlerweile liefern können.

 

[hithunter]

Von Wikipedia. LLMs sind sehr gut geworden und korrekt trainiert, fühlt sich das jetzt alles wie eine künstliche Intelligenz an, aber an der Basis hat sich aber nix geändert soweit ich weiß.

Der Wikipedia Eintrag ist schlecht gealtert und auch nicht mehr Zeitgemäß.

 

[scrollt]

ok, dann tu mir den Gefallen und erkläre mir wie ein LLM stattdessen funktioniert?

Ist Large Language Model nur noch Fassade und in Wirklichkeit steckt bereits Skynet dahinter?

 

[hithunter]

ok, dann tu mir den Gefallen und erkläre mir wie ein LLM stattdessen funktioniert?

Ist Large Language Model nur noch Fassade und in Wirklichkeit steckt bereits Skynet dahinter?

Ohne groß auszuholen, bevor ich genauer darauf eingehe.

Wie kann nach der Definition von Wikipedia eine LLM:

- Bilder erkennen
- Videos erstellen
- coden
- Mathematische Millenium Probleme wie Navier Stokes lösen, das vorher kein Mathematiker geschafft hat?

Eine LLM ist kein Chatbot mehr, das ist nur die übrig gebliebende Promptoberfläche damit die KI mit einem kommunizieren kann. Ein Sprachmodell kann die o.g. Dinge alle nicht. Da ist eine gewisse Intelligenz von Nöten.


Aber wieso fragst Du die LLM nicht selber ? :

Die Schlussfolgerung „Sprachalgorithmus, also keine KI“ ist falsch – und der Artikel behauptet das auch nicht. Er ordnet LLMs ausdrücklich der modernen künstlichen Intelligenz und den generativen KI-Modellen zu. „Algorithmisch“ und „KI“ schließen sich nicht aus: Auch ein KI-System wird durch mathematische Verfahren und Software realisiert. Wikipedia-Artikel

Deine Kritik lässt sich aber an einer konkreten Stelle begründen. Im Abschnitt „Beschreibung“ steht, Wörter würden „unabhängig und zufällig“ entsprechend ihrer Häufigkeit im Textkorpus ausgewählt. Als Erklärung moderner LLMs ist das irreführend. Die Vorhersage hängt gerade vom bisherigen Kontext ab. Die Transformer-Architektur verarbeitet Beziehungen zwischen den Eingabeelementen; sie zieht nicht einfach voneinander unabhängige Wörter aus einer Häufigkeitstabelle. Artikelabschnitt, Transformer-Originalarbeit

Auch „sagt das nächste Token voraus“ beschreibt zwar einen zentralen Mechanismus, erklärt aber allein noch nicht die Fähigkeiten oder Grenzen. Bereits die GPT-3-Forschung untersuchte, wie ein Sprachmodell Aufgaben anhand weniger Beispiele bearbeitet, übersetzt und einfache Rechenaufgaben löst – einschließlich deutlicher Schwächen. Moderne Reasoning-Systeme ergänzen die Antworterzeugung durch zusätzliche Verarbeitungsschritte und können Werkzeuge einbeziehen. GPT-3-Studie, OpenAI-Dokumentation

Ich würde den Artikel deshalb als stellenweise unpräzise und erklärungsbedürftig kritisieren. Dass Sprachmodelle statistisch arbeiten, ist dagegen keine überholte Aussage. Ihre Fähigkeiten machen diese Grundlage nicht ungültig; umgekehrt widerlegt die statistische Grundlage ihre Einordnung als KI nicht. Daraus folgt allerdings auch kein Nachweis menschlichen Verständnisses oder Bewusstseins.

 

[HansBohne]

Es gibt schon auf dem aktuellen Komplexitätsgrad Emergenzeffekte die über den Algorithmus hinausgehen. Und die Emergenzeffekte nehmen mit 99,9999% Garantie mit jedem höheren Komplexitätsgrad zu - zumal man vermutlich eh nur einen Bruchteil davon findet.

A global workspace in language models

Interpretability research on Claude's internal thoughts.

www.anthropic.com

Die Annahme AIs seien so wenig komplex dass es keine Emergenzeffekte gibt war doch eh absurd naiv - ich glaube auch nicht dass die im Bereich der (akademischen) Naturwissenschaft irgendwer tatsächlich hatte.

Emergenz ist eine immer vorhandener Basiseffekt aller organischen und anorganischen Systeme ab einer bestimmten Komplexität - noch fundamentaler als Gravitation.

Wie ein komplexes LLM tatsächlich funktioniert ist genauso am Ende unbekannt wie dass ein menschliches Gehirn - das genauso auch aus absurd simplen EInzelbausteine = Bioschaltern gebaut ist - funktioniert.

Komplexität erzeugt Intelligenz egal wie einfach die einzelnen Bauteile sind - das ist durch Xenotransplantationversuche doch eigentlich schon lange hinreichend belegt.

Meine dass es in der Richtung jetzt auch wieder wissenschaftliche Arbeiten gibt - Xenotransplantation im Bereich Neurowissenschaft war doch "nur" wegen ethisch moralischer Bedenken etwas eingeschränkt nicht wegen der wissenschaftlichen Erkenntnisse. Ist halt auch ein aus ethisch moralischer Sicht ein schwieriger Sektor und eine Gratwanderung weil man natürlich zwingend Lebewesen braucht mit bestimmten Mindestkognitiven Fähigkeiten.

Das Grundprinzip aber ist aber denke ich ausreichend sicher 1:1 auf AI übertragbar, die Anthropic papers bestätigen das auch. Die wirklich regelmässig super Arbeiten veröffentlichen, finde die immer wieder interessant. 10x interessanter als der neueste Benchmark.

 

[scrollt]

Wir reden hier aneinander vorbei. Ist aber ok, viel Vergnügen weiterhin

 

[Hoto]

Aufpassen nicht LLM und AI in einen Topf zu werfen. LLM ist das nackte Modell, AI an sich die Software darum herum und erst die macht ein LLM so leistungsfähig. Darum darf man niemals LLM und AI als Synonym für das jeweils andere nutzen, tun aber manche.

Allerdings kann man auch nicht behaupten LLM hätten sich nicht verändert, z.B. Reasoning ist Teil des Modells. Und nicht jedes LLM arbeitet intern identisch.

 

[HansBohne]

Nun die gesamte Intelligenz steckt in den Weights - die Matrixberechnungen ist nur das einfache Rechenoperationen.

Auch im menschlichen Gehirn steckt die intelligenz nicht in den dynamischen Biochemie oder der Physik der Elektrik die es betreibt sondern in der Vernetzung - (und ja auch in der Biochemie, aber in der eher statischen)

Das Netz/Weights sind die Intelligenz die Software nur das Schnitzel das gegessen wird um es zu betreiben. Deshalb kann man auch die gleichen Weights/Modelle auf verschiedenen Sofware Systemen betreiben, weil die Softwaresysteme eigentlich komplett egal sind. Die machen nix dolles und "jeder" kann die sich unabhängig der Modelle zusammenkochen. drum gibt es ja auch colibri und Co,

 

[hithunter]

Aufpassen nicht LLM und AI in einen Topf zu werfen. LLM ist das nackte Modell, AI an sich die Software darum herum und erst die macht ein LLM so leistungsfähig. Darum darf man niemals LLM und AI als Synonym für das jeweils andere nutzen, tun aber manche.

Genau darauf wollte ich hinaus: Agenten, komplexes Netzwerk mit einer Intelligenz.

Der Begriff LLM wird umgangsprachlich oft nicht richtig benutzt, das stimmt. Weil Chatgpt und co. auch keine allgemeinen LLMs mehr sind. Aber trotzdem ist mit LLM meist Chatgpt und co gemeint und das steckt nun mal eine messbare Intelligenz dahinter die nicht mehr viel mit einer einfachen LLM oder der überholten Definition von Wikipedia zu tun hat.

 

[scrollt]

Unter allem liegen aber LLMs oder hab ich was verpasst? Da ist noch Zeug oben rauf gebaut, aber der Kern bleibt

 

[HansBohne]

LLM heisst doch nur dass ein Grossteil der Weights auf textbasierten Tokens gebaut wurde. Das ist immer noch der Fall.

Solange die Hersteller selber das als LLMs sehen ist die Definition halt ok - denn nur die kennen ja wie mit welchem Anteil trainiert wurde.

Für Anthropic gehört noch alles von Haiku bis Fable zu den LLMs ich dsdenke die hätten keine Bendenken zu sagen wir sind jetzt über den LLM Bereich hinaus auf der nächsten Stufe.

Interessant ist dass die AI Big Players wie Anthropic wohl anfangen sich in die Pharmaentwicklung einzukaufen. https://qz.com/anthropic-mithril-medicine-acquisition-drug-programs-102826

Noch klein aber der Anfang ist gemacht

 

[scrollt]

zurück zum Thema

Wer kennt das noch? Wollte mal wissen was es auf sich hat mit der Flut an Ports Und habe das direkt mal selber ausprobiert.

"Claude, ich habe da dieses Amiga Spiel, wie kann ich das auf meinem Steam Deck und Mac nativ spielen"

 

[Hoto]

Hab ich recht viel damals gezockt. Nur das Flugzeug fehlt im Bild. 🤔

 

[scrollt]

Hab ich recht viel damals gezockt. Nur das Flugzeug fehlt im Bild. 🤔

ich porte das grad, es ist absolut wild wie gut das funktioniert!

 

[Hoto]

Bring mich nicht auf Ideen...

Also LFM3 ist interessant, müsste man sehen, ob sich da noch etwas optimieren ließe, aber es läuft mit >200t/s in Q8_0 und das deutsch ist brauchbar, da hab ich in der Größe schon deutlich schlechteres gesehen.

 

[scrollt]

Bring mich nicht auf Ideen...

sorry

aktuell spielt Claude das Spiel im Emulator um screenshots etc zu machen, und das Ergebnis mit dem Port zu vergleichen. Lol

 

[Yasha]

Gibt es hier jemanden der Wallpaper Engine benutzt und mir ein seiner Wallpaper, die er/sie damit erstellt hat zum Testen überlassen würde? Muss auch nichts Besonderes sein, im Grunde reicht auch ein schnell angelegtes Projekt wo ihr ein paar Effekte draufkritzelt. Und dann kann ich gucken, was das Gebastelte hier mit einem völlig unbekannten Projekt anstellt.

 

[Madz]

Also ich habe mit ChatGPT meine neue Farbe im Schalzimmer vorher visualisiert. Hat mir sehr beim Entscheidungsprozess geholfen.

 

[scrollt]

Nur das Flugzeug fehlt im Bild. 🤔

hat es mir heute Nacht eingebaut lol

 

[scrollt]

Ok, nun muss ich natürlich auch noch testen wie das mit dem richtigen decompiling ist. Battle Isle, habe ich so viel mit meinem Kumpel (rip) damals gespielt.

 

[AliManali]

Hat mich auch gerade bisschen motiviert, meine Phoenix Server mal zu zerpflücken. Sind MFC Server, die lasse ich momentan unter Wine laufen. Vielleicht kann ich die ja in go oder so nachbauen, dann brauche ich kein wine mehr. Erst mal bisschen TCPDumps analysieren. Beim AccuRC hatte ich es ja auch hingekriegt, aber das waren so Standard Server, bei Phoenix ist das compillierter C++/MFC Code. Die Sourcen dazu habe ich leider nicht. Und die AccuRC DDL war auch leichter zu entschlüsseln mit DNspy. Das ist mit c++ glaube ich nicht so einfach.

 

[Hoto]

KI ist schon cool. Zum Test hab ich mal von der KI ein Zimmer mit Fenster mit Vorhängen davor generieren lassen, passend im 8:3 Format für mein TouchPanel. Von dem Bild ausgehend hab ich dann verschiedene Bilder des Zimmers zu unterschiedlichen Tageszeiten erst mal per KI generieren lassen, inkl. wenn es dunkel wird das Licht im virtuellen Zimmer eingeschaltet wird. Und da ich an meinem echten Fenster ein Nano mit Lichtsensor befestigt habe, ändert sich die Beleuchtung im virtuellen Zimmer auf dem Panel vor mir, passend zur Lichtstärke draußen und Abends dimmt langsam das Licht rein und Morgends raus.

Da der Bildschirm am Server hängt, sende ich Sensor Daten vom Hauptrechner zum Server, so hab ich jetzt CPU und GPU von beiden Rechnern im Blick. Außerdem, wenn keine Daten mehr vom Hauptrechner kommen und das Deckenlicht am PC aus ist, schaltet das Panel nach 2 Minuten ab. Achja, und je nach Lichtstärke des Deckenlichts passt die App auch die Helligkeit des Panels an. Mein SmartHome läuft ja eh schon auf dem Server, also easy an die ganzen Daten zu kommen.

Jetzt ist nur die Frage, was ich noch alles auf dem Panel haben will und wenn das alles fest steht, geht es an das eigentliche Design. Was auf jeden Fall noch drauf kommt, ist ein eigener Musikplayer, dann kann QMMP von meinem zweiten Bildschirm verschwinden. Große Ansprüche hab ich da eh nicht. Playlisten abspielen, INet Radio Sender abspielen, Touchbedienung und gut.

Als wenn ich nicht schon genug Projekte mit KI hätte und das alles nur, weil ich mich vor ner Woche spontan dazu entschlossen hatte, mir so einen kleinen sehr breiten (8:3) TouchScreen zu holen. Nie gedacht, dass der so viel Spaß bringt, aber auch nur weil KI es einfach macht Dinge umzusetzen, sonst weiß ich schon wie das geendet hätte...

 

[Yasha]

Grandios, OpenAI verdoppelt das Nutzungslimit... dummerweise nicht für Plus Benutzer. So ein Mist ist schon sehr knapp bemessen und der Sprung auf das nächsthöhere Abo wäre mir dann wieder viel zu viel.

 

[Inekai]

Ja, gerade gesehen. Ist schon hochgesetzt bei mir (Pro).

 

[Hoto]

Hätten sie ruhig auch bei Plus etwas hoch setzen können und wenn es nur um 50% gewesen wäre. xD

Oder einfach ein Tarif zwischen Plus und Pro 100.

Wobei ich zugeben muss, dass der Monat mit 2x Plus, schon ganz geil war, der 2. Account ist heute ausgelaufen, dafür läuft mein 1. Account seit ner Woche im kostenlosen Monat.