Begriff
Computer Use
Computer Use ist eine Fähigkeit moderner KI-Modelle, einen Computer wie ein Mensch zu bedienen — Bildschirm sehen, Maus bewegen, Tastatur nutzen — um Aufgaben in beliebigen Anwendungen ohne API auszuführen.
Computer Use — ausführlicher erklärt
Anthropic hat Computer Use im Oktober 2024 mit Claude 3.5 Sonnet als öffentliche Beta eingeführt; OpenAI zog mit „Computer-Using Agent” im Operator-Produkt nach, Google liefert vergleichbare Mechaniken in Gemini. Das Modell bekommt Screenshots des Bildschirms als Input und gibt Aktionen wie „Klick bei (412, 287)”, „Tippe ‚hallo’”, „Drücke Cmd+T” zurück. Eine umgebende Schicht (Browser-Automatisierung, Container, Desktop-VM) führt die Aktionen aus und reicht den nächsten Screenshot zurück. Entscheidend: keine speziellen API-Endpoints oder Plugins nötig — das Modell bedient die UI, die ohnehin da ist.
Beispiel / Praxisbezug
Typische Use Cases: Web-Recherche mit Login-Pflicht (klassische Scraper-APIs scheitern), Befüllung von Legacy-Software ohne API, End-to-End-Tests von Web-Apps, Datenextraktion aus PDFs in lokale Tools. In der Praxis ist Computer Use noch deutlich langsamer und fehleranfälliger als API-basierte Aufgaben — pro Schritt fällt ein voller Bild-Inferenz-Aufruf an, und ein falscher Klick kann die Sequenz zerstören. Reine API-Wege bleiben überall vorzuziehen, wo sie verfügbar sind.
Abgrenzung zu ähnlichen Begriffen
Klassisches Tool Use ruft strukturierte Funktionen auf — präzise, schnell, aber auf vorhandene APIs beschränkt. Browser-Automatisierung mit Playwright oder Selenium nutzt deterministische Selektoren statt Bildverständnis. Computer Use kombiniert das Beste aus beiden Welten: visuelles Verständnis wie ein Mensch plus die Steuerung eines vollen Betriebssystems.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarEnsemble / Multi-Modell-Orchestrierung
Ensemble bezeichnet das Kombinieren mehrerer bewusst variierter LLM-Läufe oder Modelle, deren Funde sich ergänzen. Multi-Modell-Orchestrierung steuert diese Läufe über Orchestratoren mit Sub-Agenten, sodass die Vereinigung der Ergebnisse größer ist als jeder Einzellauf.
LexikonFunction Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.