GitHub Copilot App für Anfänger

Kurzfassung#

GitHub Copilot kann ab sofort direkt mit Desktop-Anwendungen interagieren — als öffentliche Vorschau in der Copilot CLI und der Copilot-App für macOS und Windows. Damit lassen sich erstmals auch Workflows in Legacy- und reinen GUI-Programmen automatisieren, die weder API noch Kommandozeile noch MCP-Integration anbieten.

Quelle: GitHub Blog (Changelog), „GitHub Copilot can now interact with desktop apps with computer use", 1. Oktober 2026 — https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps/

Was ist passiert?#

GitHub hat die „Computer Use"-Funktion für Copilot in die öffentliche Vorschau überführt. Copilot kann damit im Auftrag der Nutzerin oder des Nutzers mit Desktop-Apps interagieren: barrierefreie Inhalte und visuellen Kontext lesen, Bedienelemente anklicken, Text eingeben und bearbeiten, Tasten drücken, scrollen, Elemente ziehen und sich durch Arbeitsabläufe über mehrere Anwendungen hinweg bewegen. Als Beispiel zeigt GitHub, wie Copilot in Safari selbstständig einen Spesenabrechnungs-Workflow durchläuft. Die Kontrolle bleibt beim Menschen: Copilot fragt vor dem Übernehmen einer App um Erlaubnis, erlaubte Apps lassen sich jederzeit überprüfen oder zurücksetzen, und auf macOS führt die Funktion durch die nötigen Bedienungshilfen- und Bildschirmaufnahme-Berechtigungen. Organisationen können das Feature zentral deaktivieren. Aktiviert wird es in der CLI über den Befehl /computer on, in der Copilot-App über die Einstellungen unter „Computer Use".

Warum ist das relevant?#

Agentenbasierte KI-Werkzeuge waren bisher meist auf Programme mit offener Schnittstelle (API, CLI, MCP) beschränkt. Mit Computer Use öffnet sich dieser Automatisierungsansatz erstmals auch für Software, die keine solche Schnittstelle besitzt — etwa alte interne Tools, reine Desktop-Programme oder Drittanbieter-Apps ohne Integrationsoptionen. Das verschiebt die Grenze dessen, was ein Coding-Agent im Alltag tatsächlich erledigen kann, von reinem Code hin zu allgemeinen Arbeitsabläufen am Rechner.

Was bedeutet das für Entwickler?#

Für Entwickler, die mit Copilot arbeiten, eröffnen sich Automatisierungen jenseits von Code: Benachrichtigungen im Browser zusammenfassen lassen, Inhalte in einer Präsentation aktualisieren oder Daten durch einen mehrstufigen Workflow in einer Desktop-Anwendung schieben. Besonders in Unternehmensumgebungen mit Legacy-Software ohne API dürfte das relevant sein. Wichtig ist der Hinweis von GitHub, dass klare Formulierungen entscheidend sind — am besten mit gewünschtem Ergebnis, beteiligten Anwendungen und relevanten Einschränkungen.

Was bedeutet das für lokale AI?#

Direkt betroffen ist das nicht, da es sich um einen Cloud-/Abo-Dienst von GitHub handelt. Es zeigt aber den allgemeinen Trend: KI-Agenten bekommen zunehmend die Fähigkeit, nicht nur Text oder Code zu erzeugen, sondern tatsächlich Bildschirmaktionen auszuführen. Dieses Muster — visuelle und barrierefreie Steuerung von Desktop-Apps — dürfte perspektivisch auch für lokal betriebene Agenten-Frameworks interessant werden, etwa in Kombination mit lokalen Modellen auf eigener Hardware.

Meine Einschätzung#

Der Rechteübertrag an einen Agenten, der tatsächlich klickt, tippt und zieht, ist ein größerer Schritt als reine Code-Generierung — entsprechend sinnvoll ist das Zustimmungsmodell mit expliziter Freigabe pro App. Für produktive Workflows in Nischensoftware ohne API ist das ein klarer Mehrwert; gleichzeitig bleibt es eine Public Preview, bei der man gerade bei sensiblen Anwendungen (Finanz-, Personal-Tools) vorsichtig testen sollte, bevor man sie produktiv einsetzt. Die Möglichkeit für Organisationen, das Feature zentral abzuschalten, ist für Unternehmen mit Compliance-Anforderungen ein wichtiger Baustein.