[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion

[Hoto]

Da soll noch mal jemand sagen, KI kann nicht kreativ sein.

 

[AliManali]

Ja, habe jetzt seit Dienstag mein wöchentliches Limit zu 80% verballert. Glaube muss mal kürzer treten, und bis Montag Abend bisschen debuggen. Hatte auch vom Kumpel einen Gutschein für eine Woche Claude Pro bekommen, das wäre noch die Cheat Option gewesen. Aber leider gehen auf die selbe KK nicht mehrere Claude Accounts. Versuch macht klug. Aber sehe schon, brauche dringend das max Abo, wenn ich wieder mal liquide bin. Dann kann ich auch mal Opus drüber jagen. Und sind wir ehrlich: was mir Claude da für 17 Fränkli raus gehauen hat, darf sich echt blicken lassen. Bzw. anteilig 4 Fränkli, oder so.

 

[Hoto]

Ja, ich hab gestern und heute auch wieder 80+% verballert (Codex), weil vor ein paar Minuten ein Reset ablief, jetzt hab ich noch einen am 12.08., dann sind alle weg, falls nicht neue dazu kommen. Also mal sehen, ob ich den Reset vorher verballere oder nicht, die Chancen stehen gut. Für heute aber erst mal genug.

Ich hab einfach zu viel Zeug was ich nebenher mache, so das der KI Kram immer mal wieder liegen bleibt. xD

 

[AliManali]

Für heute aber erst mal genug.

Muss dazu sagen, dass ich von gestern auf heute 16h am Stück geschlafen habe. Bin mir soviel Arbeit nicht gewohnt.

 

[Hoto]

Ja, KI kann einen ziemlich ausbrennen, weil man ziemlich viel mitdenken muss und man oft ständig irgendwelche Entscheidungen fällen muss.

 

[HansBohne]

Hmm man kann ja auch oft so testfälle inkl edge cases etc definieren und dann sagen mach mal solange bis die passen - das hilft ja auch schon etwas

 

[Hoto]

Ich könnte mir echt in mein eigenes Hinterteil beißen, dass ich die 64GB DDR5 RAM, die ich letzten September zusätzlich zu meinen bereits existierenden 64GB nicht behalten habe und zurückgeschickt habe. Die hätte ich gut für meinen "KI" Server brauchen können. Da ist nur langsamer DDR4 RAM drin und auch nur 32GB über 4 Module, was für KI nur semi gut ist. Ich hatte damals auch tatsächlich überlegt den RAM zu behalten, aber vorschnell dann doch zurückgeschickt, gerade deswegen ärgert es mich jetzt um so mehr, sonst überdenke ich Dinge viel zu sehr, aber einmal mache ich das nicht... xD

Wie ich da jetzt drauf komme?

GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.

Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine. - sqliteai/waste

github.com

Ja, zwar nur ~0,5 Token/s aber nur mit 32 (eigentlich eher 64) GB RAM und ~1TB NVMe für den Betrieb (3TB für die Vorbereitung, Modell muss gepatched werden) und dadurch kann selbst ein riesiges Kimi K3 MoE Modell lokal laufen. Dass es überhaupt läuft, ist schon mal beeindruckend. Und wenn das mit Kimi K3 so geht, sollte das auch mit kleineren MoE Modellen gehen bei besseren Geschwindigkeiten für Dinge, bei denen es nicht so sehr auf Geschwindigkeit ankommt. Ist zudem ein ziemlich neues Projekt, da ist sicherlich noch Platz für Optimierungen. Zeigt jedenfalls deutlich, dass nicht nur viel VRAM wichtig ist, sondern auch schneller RAM und schnelles NVMes... also alles was aktuell überteuert ist. xD

 

[AliManali]

Kumpel aus CA hat mich bisschen animiert. Erst mal Zeitzonen Bugs ausgebügelt. Und die 99 beers nach Timbuktu Bestellung wurde auch storniert. Jetzt geht nur noch nach Lieferzonen. Den Song "99 bottles of beer on the wall" bei Bemerkungen musste ich auch erst mal googlen. Jetzt bin ich weiter. An den 99 Beers arbeite ich noch...

Dürft ihr jetzt gerne mal testen mich zu dissen:

Martins Kebab Bude 2 – online bestellen

Martins Kebab Bude 2

kunde7.schraemli.net

Aber mein Kumpel Claude meint auch, hast morgen Nachmittag noch nen unangenehmen Termin:

 

[Daniels87]

Ich wollte mir demnächst ein Dashboard bauen, ursprünglich mit Homeassistant, für ein bisschen Smarthome (bei uns relativ wenig), Photovoltaik, Elektroautos..

Meine Überlegung war jetzt, mit Codex so eine Art eigenes Home-Dashboard, also kein HA-Dashboard, mit einem größeren Touchdisplay (~30") zu bauen, und dort noch deutlich mehr einzubinden. Aufgaben/To-Dos, Termine, Finanzen, Einkaufslisten, und auch einen Hermes Agenten integrieren, um das ganze etwas "intelligent" zu bekommen.

Gibt es evtl. gute Skills für Dashboards? Hätte gerne ein helles, aufgeräumtes Design, Richtung iOS oder so ähnlich.

Ich habe ChatGPT ein Bild erstellen lassen, wie ich es mir ungefähr vorstelle.




PS: https://github.com/nextlevelbuilder/ui-ux-pro-max-skill ich habe es mit diesem Skill versucht, und Codex gebeten ein klickbares Template aus dem Bild zu generieren.
Eine Stunde später und etwas nachpolieren mit Opus 5.. kommt schon ganz gut hin, als Designvorlage.