Werbung
Mehr als 50 Jahre nach dem Start grafischer Oberflächen möchte Google den Mauszeiger stärker in die KI-Bedienung einbinden. DeepMind arbeitet an einem KI-gestützten Pointer, der nicht nur die Position auf dem Bildschirm erkennt, sondern obendrein den Inhalt dahinter erfassen und als Kontext für Gemini nutzen soll. Das Projekt ist noch experimentell, zeigt jedoch, wie Google KI-Funktionen künftig tiefer in Chrome und neue Geräteklassen integrieren könnte.
Der Ansatz zielt auf eine Schwäche heutiger KI-Werkzeuge: Viele Assistenten sitzen in einem eigenen Fenster oder einer Seitenleiste. Texte, Bilder, Links oder Codezeilen müssen erst markiert, kopiert oder ausführlich beschrieben werden, bevor das LLM sinnvoll darauf reagieren kann. DeepMind will diesen Umweg verkürzen. Der Zeiger soll den Kontext direkt erfassen. Aus langen Prompts können dann kurze Anweisungen wie "Fasse das zusammen", "verlgeiche diese Produkte" oder "erkläre mir diesen Abschnitt" werden.
In den von DeepMind gezeigten Praxisbeispielen kann der KI-Zeiger unter anderem ein Bild bearbeiten, Orte auf einer Karte finden, einen PDF-Abschnitt zusammenfassen, Daten aus einer Tabelle in ein Diagramm überführen oder ein markiertes Rezept anpassen. Auch Fotos und Videos sollen sich darüber besser erschließen lassen, etwa wenn ein Ort oder Objekt im Bild erkannt und daraus eine Aktion abgeleitet wird. Die Beispiele sind bewusst breit angelegt, weil Google das Konzept nicht auf eine einzelne Anwendung beschränken will.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen
Konkreten Produktbezug gibt es bereits. In Chrome soll Gemini über den Mauszeiger gezielter auf den Teil einer Webseite reagieren können, der gerade relevant ist. Google nennt etwa den Vergleich mehrerer Produkte auf einer Seite oder das virtuelle Platzieren eines Möbelstücks im eigenen Raum. Für Googlebook kündigt das Unternehmen außerdem einen "Magic Pointer" an, der Gemini direkt an den Cursor binden soll. Die Android-basierte Notebook-Plattform wird damit zu einem frühen Ziel für Googles neue KI-Bedienung.
Noch bleibt das Projekt ein Ausblick. DeepMind spricht von experimentellen Demos, Google AI Studio stellt erste Beispiele bereit, und der Magic Pointer für Googlebook soll erst folgen.
