Cursor hat seine Desktop-Entwicklungsumgebung um Computer Use erweitert. Damit kann der lokale Programmieragent grafische Anwendungen auf dem Rechner des Entwicklers bedienen: klicken, Text eingeben und Screenshots erstellen. Innerhalb einer Aufgabe kann er Code ändern und das Ergebnis anschließend in einer nativen Benutzeroberfläche prüfen.
Von der Implementierung zum Test im iOS-Simulator
Ein konkreter Anwendungsfall ist die Entwicklung einer iOS-Funktion. Der Agent kann sie programmieren, den Simulator starten und die Bedienung testen. Anschließend prüft er das angezeigte Ergebnis und passt bei Bedarf den Code innerhalb derselben Aufgabe an.
Die bisherige Funktion Render Preview lieferte dem Agenten bereits Screenshots aus dem Simulator. Das simulierte Gerät musste jedoch weiterhin ein Mensch bedienen. Mit Computer Use kann der Agent diese Interaktionen selbst ausführen.
Computersteuerung direkt aus der lokalen IDE
Der bisherige lokale Agent konnte Dateien bearbeiten, Befehle ausführen und über ein Browserwerkzeug mit Webseiten arbeiten. Für Aufgaben in nativen Desktop-Anwendungen benötigte er dagegen menschliche Unterstützung oder externe Toolserver, die über das Model Context Protocol (MCP) angebunden waren.
Computersteuerung gab es in Cursor bereits bei Cloud-Agenten und auf selbst gehosteten Workern. Mit Computer Use kommt diese Möglichkeit nun auch in die lokale IDE: Der Agent erhält von dort aus Zugriff auf den aktiven Desktop des Entwicklers.
Aufruf per @Computer Use oder automatisch
Entwickler können das Werkzeug gezielt aufrufen, indem sie @Computer Use in ihre Aufgabenbeschreibung aufnehmen. Der Agent kann es auch selbst auswählen, wenn er erkennt, dass eine Aufgabe die Interaktion mit einer visuellen Oberfläche erfordert.
Die Funktion ist nach einer Aktualisierung der Desktop-App über die Downloadseite von Cursor verfügbar. Eine begleitende Preisänderung wurde nicht angekündigt.
Zugriff hängt von Berechtigungen und App-Kompatibilität ab
Computer Use greift auf den aktiven Bildschirm und die Eingabesteuerung des Rechners zu. Ob eine bestimmte Anwendung Teil einer automatisierten Aufgabe werden kann, hängt von den Berechtigungen des Betriebssystems und der Kompatibilität der Anwendung ab. „Lokal“ bezeichnet hier den gesteuerten Rechner und sagt nichts darüber aus, wo das KI-Modell ausgeführt wird.
Beim Zugriff auf den aktiven Desktop kann der Agent auch auf private Nachrichten, Zugangsdaten, Produktionskonten oder Bedienelemente für destruktive Aktionen stoßen. Seine Aktionen können zudem mit gleichzeitigen Maus- oder Tastatureingaben eines Menschen in Konflikt geraten.
