Computer Use ist die Fähigkeit eines Agenten, eine Benutzeroberfläche automatisiert zu bedienen: Er liest einen Screenshot, plant den nächsten Klick oder die nächste Tastatureingabe und prüft anhand des folgenden Screenshots, ob die Aktion wie erwartet gewirkt hat. Anders als reine Browser-Automation funktioniert das auch auf Desktop-Oberflächen ohne strukturierte Schnittstelle.
Beispiel aus dem Arbeitsalltag
Ein Agent soll Daten aus einer alten Desktop-Anwendung ohne eigene Schnittstelle in ein neues System übertragen. Über Computer Use liest er den Bildschirm, tippt die Werte ein und bestätigt jeden Schritt anhand des sichtbaren Ergebnisses.
Worauf du achten solltest
Computer Use funktioniert nur mit Zugangsdaten und Systemen, die du dem Agenten ausdrücklich gibst. Nutze diese Fähigkeit nur mit vertrauenswürdigen Oberflächen — eine unbekannte Website kann den Agenten mit irreführenden Inhalten in die Irre führen.