[Sammelthread] ChatGPT und andere KI - Anwendungsbeispiele und Diskussion

Daniels87 schrieb:
Ich habe ja nichts gegen lokale Modelle. Aber ich sehe den Nutzen aktuell einfach nicht. Sie sind noch wesentlich schwächer als die Top-Cloud-Modelle und machen viele Fehler.
Zum Vergrößern anklicken....
Ich habe ein 14B_Q4 und online ein 24B_Q4, das sind mächtige coder. die 'großen' sind dabei nicht besser.

ich habe mit der online gemma lange beraten, wie ich meine 1200$ von Google einsetze.

habe z.B. von electron auf native tkinter/tauri umgestellt ist der Wahnsinn, python tool nativ und schnell.

das excerpr, das zu meinem dashboard wird, schon völlig funktional


python_SR0kBXv3Th.png

Beitrag automatisch zusammengeführt:

@Daniel83 ach ja ... die online version und ich planen und die 24B-Gemma in VS Code bekommt einen prompt und macht los, ergebnis sieht man ja :).
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich glaube der entscheidende Punkt ist auch: Ich bin kein Informatiker, ich habe nur sehr rudimentäre Kenntnisse. Wenn man sehr viel Ahnung hat und sehr Präzise Anweisungen geben kann, funktionieren bestimmt auch kleinere Modelle relativ gut.

Aber ich muss mich zum größten Teil auf das Können der KI-Modelle verlassen. Das klappt auch wirklich gut, ich habe schon einige Programme ersetzt, die ich in meiner Firma vorher als SaaS teuer bezahlt habe.
 
Daniels87 schrieb:
Wenn man sehr viel Ahnung hat und sehr Präzise Anweisungen geben kann, funktionieren bestimmt auch kleinere Modelle relativ gut.
Zum Vergrößern anklicken....
glücklicherweise liegst du hier falsch ;).

Das Konzept machst du mit der online AI, der erklärst du die zusammenhänge. Diese erstellt präziese prompts für die worker bees direkt nach deinen vorstellungen.

ergebnisse, fehlermeldungen zurüch an das online-modell, die präzisiert den prompt. das geht dann immer zügiger.

bin auch kein informatiker :).
 
Ah, jetzt verstehe ich. So ähnlich geht das, glaube ich, auch in Roo Code mit Orchestrator Mode/Boomerang Mode, da kann man auch lokal gehostete Modelle als Subtask-Agent festlegen.

Beziehungsweise nutze ich es teilweise auch mit einem LangGraph-Framework, wenn es um personenbezogene Daten geht, die nicht pseudonymisiert werden können.
 
^^ist das 'openclaw-principle', eine Queen Bee und dann spezialisierte worker, z.B. Code, Audio, ImageGen und so weiter.

alle verwebt mit KLAR DEFINIERTEM WORKSPACE UND SCHREIBRECHTEN!!!!
 
@Daniels87 hier meine Anfänge mit AHK Tools für Windows Update noch mit Stackoverflow, Git ud Chris Mallets persönlicher Hilfe.

Resizable, DPI-aware, Context-Menu and File_menu started operations, some Buttons ...

www.hardwareluxx.de

[Sammelthread] - LLM-Projekte - lokal und mit online eingebundenen Modellen - Quatsch-Thread!

Gibt's noch nicht in der Form. Hier alles zum Themenschwerpunkt eigenes Github-Projekt zum Thema und alles herum. Github ist nur ein Schritt, daher sind auch alles weitestgehend interessierten, herzlich eingeladen. ich diskutiere gerade mit meinem CO, Gemma4-OEWB-2a, dem google AI chat...
www.hardwareluxx.de www.hardwareluxx.de

Das baue ich mit dem LLM-Scwarm gerade zu einem PY TOOL um, SW1SSKN1FE officially goes PY :).
Beitrag automatisch zusammengeführt:

LPEWB_DevOps_Dashboard_gddkKDhZTv.png
 
Zuletzt bearbeitet:
Hihi. Kumpel hatte Open Air Billet, aber hat trotzdem das ganze WE durchgehackt mit seinem neuen Claude Abo. Unglaublich was er in 2 Tagen alles programmiert hat, und ist ja nur ein Testprojekt. Er hat auch gefühlt jede Stunde mal angerufen, ich müsse testen. Da hat einer Blut geleckt.
 
Zuletzt bearbeitet:
AliManali schrieb:
Unglaublich was er in 2 Tagen alles programmiert hat, und ist ja nur ein Testprojekt.
Zum Vergrößern anklicken....
www.hardwareluxx.de

[Sammelthread] - LLM-Projekte - lokal und mit online eingebundenen Modellen - Quatsch-Thread!

Gibt's noch nicht in der Form. Hier alles zum Themenschwerpunkt eigenes Github-Projekt zum Thema und alles herum. Github ist nur ein Schritt, daher sind auch alles weitestgehend interessierten, herzlich eingeladen. ich diskutiere gerade mit meinem CO, Gemma4-OEWB-2a, dem google AI chat...
www.hardwareluxx.de www.hardwareluxx.de
 
Kuzorra schrieb:
Hat jemand OpenRouter im Einsatz oder mal getestet?
Zum Vergrößern anklicken....
Ja, hab OpenRouter über die API in verschiedene Programme eingebunden.
Besonders komfortabel, wenn man noch nicht sicher ist welches Modell für einen bestimmten Zweck gut geeignet ist.

Z.B. habe ich eine App zur Verwaltung meiner Elektrogeräte. Wenn eine DGUV V3 Prüfung ansteht, scanne ich einen QR-Code, den jedes Gerät hat, und Fotografiere dann einfach nur das Display vom Messgerät ab. Das Foto wird über die API verarbeitet und die Werte eingetragen und das vollständige Protokoll erstellt. Spielerei, aber bei über 100 Geräte spart das schon etwas an Zeit ^^.

Oder auch mein Schichtplaner-Programm. Es hat einen KI-Planungsmodus, der berücksichtigt die individuellen Arbeitsverträge/Urlaube/Abwesenheiten und plant entsprechend die Schichten automatisch, berücksichtigt dabei auch die gleichmäßige Verteilung der Wochentage, damit sich kein Mitarbeiter beschweren kann zu häufig am Samstag zu arbeiten. :P

Ich habe einen Proxmox Server, auf dem laufen meine Programme in einer VM. Wenn z.b. gerade ein lokales Modell für einen bestimmten Zweck geladen ist und dadurch der RAM/VRAM voll ist, geht dann teilweis auch ein Fallback über die OpenRouter API. Das ist nämlich auch eine Herausforderung an lokaler KI, wenn man mehrere Programm hat die unterschiedliche Modelle brauchen..

Und mein Hermes Agent verwendet für manche Aufgaben DeepSeek V4 über die OpenRouter API.


Aber zum "programmieren" verwende ich nur die Abos/Pläne der Anbieter, das ist insgesamt einfach günstiger als die API-Preise.
 
Zuletzt bearbeitet:
Dankefür das Feedback!
Daniels87 schrieb:
Oder auch mein Schichtplaner-Programm. Es hat einen KI-Planungsmodus, der berücksichtigt die individuellen Arbeitsverträge/Urlaube/Abwesenheiten und plant entsprechend die Schichten automatisch, berücksichtigt dabei auch die gleichmäßige Verteilung der Wochentage, damit sich kein Mitarbeiter beschweren kann zu häufig am Samstag zu arbeiten. :P
Zum Vergrößern anklicken....
Bist du selbstständig oder angestellt - was sagt der Datenschutzbeauftragte dazu, Daten der Mitarbeitenden in ein Cloud-Modell hochzuladen (wenn ich dich richtig verstehe)?
Die meisten Anbieter trainieren auf deinen Daten!
 
Kuzorra schrieb:
Dankefür das Feedback!

Bist du selbstständig oder angestellt - was sagt der Datenschutzbeauftragte dazu, Daten der Mitarbeitenden in ein Cloud-Modell hochzuladen (wenn ich dich richtig verstehe)?
Die meisten Anbieter trainieren auf deinen Daten!
Zum Vergrößern anklicken....
Die Daten sind anonymisiert/pseudonymisiert, es kann kein Rückschluss auf persönlichen Daten, auf die Uhrzeiten und auch nicht auf die Wochentage getroffen werden.
Sonst natürlich Zero Data Retention Enforcement, Logging deaktivieren und das hier: https://openrouter.ai/data-processing-agreement
Für Enterprise Kunden gibt es EU-Routing.

1782728956766.png



Je nachdem, um welche Daten es geht, verwende ich auch die Mistral API, oder für nicht pseudonymisierbare Daten lokale Modelle.

Wenn ich sehe wie andere Firmen mit Daten umgehen, bin ich da extrem penibel. :hust:
 
Zuletzt bearbeitet:
Interessant....bei uns gibt's die Überlegung auch.
Liest sich auf dem papier gut ich habe allerdings wenig Vertrauen in dieses vertragliche Konstrukt - letztlich reicht OpenRouter die Anfragen ja auch nur an Dritte (wie Anthropic, DeepSeek, OpenAI....) weiter, die sich natürlich in keinster Weise an das gebunden fühlen (müssen), was OpenRouter dir vertraglich zusichert.
 
Kuzorra schrieb:
Interessant....bei uns gibt's die Überlegung auch.
Liest sich auf dem papier gut ich habe allerdings wenig Vertrauen in dieses vertragliche Konstrukt - letztlich reicht OpenRouter die Anfragen ja auch nur an Dritte (wie Anthropic, DeepSeek, OpenAI....) weiter, die sich natürlich in keinster Weise an das gebunden fühlen (müssen), was OpenRouter dir vertraglich zusichert.
Zum Vergrößern anklicken....
Was Microsoft, Google etc. mit unseren Daten macht weiß effektiv auch keiner.

Kannst ja mal Mistral ausprobieren, für manche Zwecke reicht es.

Ich habe eine relativ kleine Firma mit 12 Mitarbeitern, wir haben keine besonders kritischen Daten oder sowas. Mir ist es nur wichtig, das auf meiner Seite rechtlich alles möglichst sauber ist.
 
Hab mal gestern die AI den DSL <-> Glasfaser Switch automatisieren lassen - also wenn Glasfaser ausfällt dann geht er ohne dass ich wie bisher ein Kabel umstecken muss automatisch auf DSL - und sobald Glasfaser wieder tut welchselt er wieder automatisch zurück,

Da zu habe ich dann halt meinen "Daily 24/7 on" Debian Router 99 der Fritzboxfunktionen ersetzen lassen -und berteibe darauf jetzt DHCP, Nameserver und den Gateway / Routerkram. Natürelich dann auch glaich mit Web Interface für DHCP etc :d da der Daily auch andere Sachen hat die ein Tunnel zu einem VPS damit reverse Proxy Dienste gehen dachte ich ohoh da lasse ich lieber mal AI ran im --yolo (war ChatGPT)

was ich aber merke durch das ganze IOT Zeugs werden die IP4 im 255.255.255.0 langsam knapper - die "current lease" liste ist länger als die Listze der neuen Gesetze zum Bürokratieabbau :d

Das Glasfaser gerade in der Region nicht geht konnte ich das auch live testen - echt super der Autofallback ohne Kabel umstecken etc.

Glasfaser geht über die interne 2.5 GBit netzwerkkarte meines DailyServers - DSL über eine USB Netzwerkkarte. Aber echt cool dass AI einem bei sowas helfen kann auch wenn ich routing etc im Prinzip verstehe - aber im Prinzip heisst ja in der Praxis man googelt sich einen ab..... vor allem weil Glasfaser ausgefallen war musste ich das DSL Kabel oft hin und herstecken kurz AI Chatten kurz testen - gut ist das Setup ist im Kaller da waren es angenehme 22 Grad.
 

Anhänge

  • dhcp.png
    dhcp.png
    70,3 KB · Aufrufe: 13
Zuletzt bearbeitet:
HansBohne schrieb:
Hab mal gestern die AI den DSL <-> Glasfaser Switch automatisieren lassen - also wenn Glasfaser ausfällt dann geht er ohne dass ich wie bisher ein Kabel umstecken muss automatisch auf DSL - und sobald Glasfaser wieder tut welchselt er wieder automatisch zurück,

Da zu habe ich dann halt meinen "Daily 24/7 on" Debian Router 99 der Fritzboxfunktionen ersetzen lassen -und berteibe darauf jetzt DHCP, Nameserver und den Gateway / Routerkram. Natürelich dann auch glaich mit Web Interface für DHCP etc :d da der Daily auch andere Sachen hat die ein Tunnel zu einem VPS damit reverse Proxy Dienste gehen dachte ich ohoh da lasse ich lieber mal AI ran im --yolo (war ChatGPT)

Das Glasfaser gerade in der Region nicht geht konnte ich das auch live testen - echt super der Autofallback ohne Kabel umstecken etc.
Zum Vergrößern anklicken....
KI ohne yolo-Modus ist sowieso für Warmduscher. :fresse: Aber funktioniert das "normale" DSL, wenn man einen Glasfaser Vertrag hat? :confused:

Ich habe dafür einen Router mit SIM-Karte, der an der Notstromversorgung hängt, damit meine Home Assistant Alarmanlage auch bei lokaler Stromunterbrechnung oder Glasfaserstörung weiter funktioniert und ich auch auf die Kameras zugreifen kann.
Übrigens - den inoffiziellen Home Assistant MCP Server kann ich empfehlen. 8-)
 
Kuzorra schrieb:
Hat jemand OpenRouter im Einsatz oder mal getestet?
Zum Vergrößern anklicken....
Ja, funktioniert an sich auch gut, aber ich weiß nicht, ob es an mir liegt, aber manchmal dauert eine Anfrage ewig oder bricht gar ab. So richtig zuverlässig scheint es nicht zu sein. Wenn man aber mal ein stärkeres Modell braucht und eine Auswahl haben will, ist die Plattform nicht schlecht. Zumal man mit Credits zahlt.
 
^^interessant sind in vs code die vorscläge über dem prompt, das paßt sich an den kontext an und liefert funktionen und optimierunegn, das geht da ab wie schmitts katze, mein altes ahk toll enstaht gerade mit neuen funktionen als py/tkinter exe compilat.

das geht jetzt in mächtigen schritten.
 
Daniels87 schrieb:
KI ohne yolo-Modus ist sowieso für Warmduscher. :fresse: Aber funktioniert das "normale" DSL, wenn man einen Glasfaser Vertrag hat? :confused:
Zum Vergrößern anklicken....

Wieso sollte das nicht gehen das doch unabhänig? DSL habe ich über Telekom und Analogleitung an einer Fritz 7490 - Glasfaser über deutsche Giganetz und einer Fritz 7530AX

Dass das jetzt automatisch switched das hab ich mit AI Hilfe gemacht weil mein Netzwerkkram schon ziehnmlich umgemodelt ist um auszugleichen dass man Glasfaser meist keine public IP4 hat - beide Boxen sind jetzt an meinem eh vorhandenen Debian Server und der switched das gesamte Hausnetz jetzt auf den Anschluss der gerade tut ohne dass man da was machen muss oder merkt - tun beide auf den schnellsten - vorher hab ich halt das Kabel in mein Heimnetz rangesteckt und das anderes aus :d

Jo --yolo ist schon ok vor allem macht man dann öfters Backups bevor mal yolot
 
HansBohne schrieb:
Jo --yolo ist schon ok vor allem macht man dann öfters Backups bevor mal yolot
Zum Vergrößern anklicken....
geh zu github, falls noch nicht geschehen, versionierung loca, auf wusch der branch push da dann entweder privat oder public. sind meine projecte all.

ist einfach geil mit 1200$ dev budget von Google für token, das sind jahre der nutzung :)
 
ja das mit github werd ich schon auch mal angehen - mache halt aktuelle alles eher lokal.

Ein sehr guter Freund von mir hat ein Dual Nvidia 6000 setup das ich halt ab und zu ausleihe wenn er beruflich länger unterwegs ist daher bin ich immer so am schwanken alles nur lokal zu halten.

Der grosse Wunsch ist ja immer noch die krasse lokale AI - aber ist halt vernünftig betrachtet für die Openweight Modelle einfach viel zu $$$.
 
HansBohne schrieb:
ja das mit github werd ich schon auch mal angehen - mache halt aktuelle alles eher lokal.
Zum Vergrößern anklicken....
ich auch ;).

das ist ein guter start und hilf das project zu strukturieren und optimieren.

dann ein dev-accont bei der google dev console und die vergeben gerade 300$ guthabe für llms an alle, die da projekte haben. das wird dann mit dem lokalen git verlinkt und du kannst in vs code 300 verballern, das sind so 2 jahre :)
 
Ja das schon echt nice da kann man n icht meckern und VS Code ist neben VS Studio auch eine wirklich schöne DEV Umgebuing msus man bei aller Kritik an MS auch mal anerkennen.
 
@HansBohne vs code, studio braucht keiner, vs code löst da mit den extensions bessert, du installierst nur was du brauchst bei mir alles llm, github, python/tkinter als standalone exe dfashboards.

300$ sind ein einzel dev budget, teams bekommen team budget 900$ und einmal ein user budget über 300$

Ich kann dir ein token generieren, dann kannst du eine online gemma (24B Q4) direct in die vs code google ai extension einbinden. ich hab grad was zum abgeben für leute mit interessante projekten, das wäre ein massiver schritt für dich, genau wie für mich, du glaubst garnicht was dann alees get, python, Flutter und du hast windows linux unnd androind alles in einem :)
Beitrag automatisch zusammengeführt:

@HansBohne, sreib mir bei interesse eine PN, dann erkläre ich alles und du hast ein echtes interstellares liftoff elebnis, letzteres ist gewiss wie der tod :coolblue:
Beitrag automatisch zusammengeführt:

www.hardwareluxx.de

[Sammelthread] - LLM-Projekte - lokal und mit online eingebundenen Modellen - Quatsch-Thread!

Gibt's noch nicht in der Form. Hier alles zum Themenschwerpunkt eigenes Github-Projekt zum Thema und alles herum. Github ist nur ein Schritt, daher sind auch alles weitestgehend interessierten, herzlich eingeladen. ich diskutiere gerade mit meinem CO, Gemma4-OEWB-2a, dem google AI chat...
www.hardwareluxx.de www.hardwareluxx.de
 
Zuletzt bearbeitet:
HansBohne schrieb:
Aber 5.5 ist halt doch eher Sonnet
5.5 Pro ist finde ich das zu Opus vergleichbare Modell

du bist bei OpenAI meiner Meinung nach ein Modell zu tief wenn Du "nur" 5.5 (ohne Pro) gegen Opus antreten lässt.
Zum Vergrößern anklicken....
BTW. Der Vergleich war für mich bis jetzt immer etwas schwierig, weil man das Pro Modell ja nicht in Codex etc. nutzen kann.
Ich habe aber einige isolierte Probleme lösen lassen, in dem ich die notwendigen Daten hochgeladen habe. Das ist schon echt gut.
Es hat mir z.B. gestern in 15 Minuten die Binärdaten von einem Messgerät "entschlüsselt" und einen Decoder gebaut,
damit ich die Daten in einer herstellerfremden, eigenen Software verwenden kann.

Das normale ChatGPT 5.5 xhigh hat es nicht hin bekommen. Opus hab ich nicht ran gelassen, wenn das mal eine Zeit lang arbeitet muss ich Insolvenz anmelden. :fresse:
 
Zuletzt bearbeitet:
Nutzt hier keiner Gemma oder Qwen?? ChatGPT/Copilot haben mich nicht überzeugt. Die Coder Modelle von Alphabet/Alibaba sind besser. Nur Claude ist allen ein kleines Stück voraus, leider teuer.
 
ich nutze Claude Code, habe keine große Lust auf Gefummel, und auch gar keine wirkliche Hardware das laufen zu lassen. Ist mir die 20€/Monat wert aktuell. Wird zwar manchmal knapp, aber dann macht man halt Pause
 
GLM 5.2 hat mich aktuell beeindruckt für das Geld spielt das fast im 4.8 Opus Bereich - vielleicht nicht ganz aber finde sehr sehtr nahe dran. Bei ~ 1,40 in und 4,40 out Opus 4.8 ~ 1,80 zu 25 :O

China muss man sagen die sind echt stark im Kommen.
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh