Moin zusammen,
ich habe ein kleines Open-Source Projekt entwickelt, das ich gerne teilen möchte: DirectShell.
Kurz gesagt: Es liest den Windows Accessibility Tree (die Schnittstelle die normalerweise für Screenreader gedacht
ist) und schreibt alle UI-Elemente einer Anwendung in eine SQLite-Datenbank. Damit kann man Programme per SQL abfragen
und auch Eingaben injizieren — oder als Proxy Abfangen und verändern. Es funktioniert soweit ich das sehe mit jeden Programm das WA nutzt was ~ +99% sein dürften.
Das Ganze ist in Rust geschrieben, ca. 1,2 MB groß, und läuft als Overlay das man auf beliebige Fenster "snapt".
Gedacht ist es vor allem als Baustein für Automatisierung und als Schnittstelle für KI-Agenten, aber auch für alle die
programmatisch mit Desktop-Anwendungen arbeiten wollen ohne auf OCR oder Pixel-Erkennung angewiesen zu sein.
Im Grunde ist es ein Primitivum das jedes X- Beliebige Programm Forked , Automatisch eine SQL Lite DB erstellt sowie weitere sub Dateien Generiert welche es :
- Jedweigen Scripten , Programmen , Code usw
- Sowie KI Modellen und Agenten
Ermöglicht Jedes Programm Nativ zu Lesen , Benutzen und zu Manipulieren.
Im Grunde ist es eine Automatisch entstehende art API unabhängig davon ob das Programm eine API besitzt. Es funktioniert also ebenfalls mit alter legecy Software oder Prioritären API Programmen.
Das wichtige ist dabei aber es " Hackt" nichts , ändert nichts , bricht ,keinerlei sicherheits Mechanismen und bricht damit keine TOS , AGB oder ein Gesetz.
und da die WA Schnitstelle in über 180 Ländern Rechtlich geschützt ist ist es auch nicht Patchbar.
Repo: https://github.com/IamLumae/DirectShell
Whitepaper: https://dev.to/tlrag/-directshell-i...niversal-app-interface-no-screenshots-no-2457 ( Volle Technische Version im Short Paper Verlinkt sowie ein Live Demo Video)
Lizenz: AGPL-3.0 also open source und free to use für alles und jeden der es nicht Kommerziell nutzen will.
Bin gespannt auf Feedback und Fragen. Ist natürlich noch Day 1 — es gibt genug Ecken und Kanten, aber die Grundlage
steht.
Grüße Martin
ich habe ein kleines Open-Source Projekt entwickelt, das ich gerne teilen möchte: DirectShell.
Kurz gesagt: Es liest den Windows Accessibility Tree (die Schnittstelle die normalerweise für Screenreader gedacht
ist) und schreibt alle UI-Elemente einer Anwendung in eine SQLite-Datenbank. Damit kann man Programme per SQL abfragen
und auch Eingaben injizieren — oder als Proxy Abfangen und verändern. Es funktioniert soweit ich das sehe mit jeden Programm das WA nutzt was ~ +99% sein dürften.
Das Ganze ist in Rust geschrieben, ca. 1,2 MB groß, und läuft als Overlay das man auf beliebige Fenster "snapt".
Gedacht ist es vor allem als Baustein für Automatisierung und als Schnittstelle für KI-Agenten, aber auch für alle die
programmatisch mit Desktop-Anwendungen arbeiten wollen ohne auf OCR oder Pixel-Erkennung angewiesen zu sein.
Im Grunde ist es ein Primitivum das jedes X- Beliebige Programm Forked , Automatisch eine SQL Lite DB erstellt sowie weitere sub Dateien Generiert welche es :
- Jedweigen Scripten , Programmen , Code usw
- Sowie KI Modellen und Agenten
Ermöglicht Jedes Programm Nativ zu Lesen , Benutzen und zu Manipulieren.
Im Grunde ist es eine Automatisch entstehende art API unabhängig davon ob das Programm eine API besitzt. Es funktioniert also ebenfalls mit alter legecy Software oder Prioritären API Programmen.
Das wichtige ist dabei aber es " Hackt" nichts , ändert nichts , bricht ,keinerlei sicherheits Mechanismen und bricht damit keine TOS , AGB oder ein Gesetz.
und da die WA Schnitstelle in über 180 Ländern Rechtlich geschützt ist ist es auch nicht Patchbar.
Repo: https://github.com/IamLumae/DirectShell
Whitepaper: https://dev.to/tlrag/-directshell-i...niversal-app-interface-no-screenshots-no-2457 ( Volle Technische Version im Short Paper Verlinkt sowie ein Live Demo Video)
Lizenz: AGPL-3.0 also open source und free to use für alles und jeden der es nicht Kommerziell nutzen will.
Bin gespannt auf Feedback und Fragen. Ist natürlich noch Day 1 — es gibt genug Ecken und Kanten, aber die Grundlage
steht.
Grüße Martin
