Cursor rozšířil své desktopové vývojové prostředí o Computer Use. Lokální programovací agent díky této funkci může na počítači vývojáře ovládat grafické aplikace: klikat, zadávat text a pořizovat snímky obrazovky. Úpravy kódu tak může v rámci jednoho úkolu propojit s kontrolou výsledku v nativním rozhraní.
Od implementace k ověření v iOS Simulatoru
Konkrétním využitím je vývoj funkce pro iOS. Agent ji může naprogramovat, spustit Simulator a vyzkoušet její ovládání. Poté zkontroluje zobrazený výsledek a podle potřeby se v témže úkolu vrátí k implementaci a upraví ji.
Oproti dřívější funkci Render Preview nejde jen o získání obrazu aplikace. Ta už agentovi poskytovala snímky simulátoru, samotné ovládání simulovaného zařízení ale zůstávalo na člověku. Computer Use přidává možnost provádět tyto interakce přímo.
Ovládání počítače přichází do lokálního IDE
Dosavadní lokální agent uměl měnit soubory, spouštět příkazy a pracovat s webovými stránkami přes prohlížečový nástroj. Pokud však práce vyžadovala nativní desktopovou aplikaci, potřeboval zásah uživatele nebo externí nástrojové servery připojené prostřednictvím Model Context Protocol (MCP).
Ovládání počítače přitom v Cursoru není zcela nové: fungovalo u cloudových agentů i na vlastních pracovních uzlech. Nové vydání tuto možnost přenáší do lokálního IDE, odkud agent získává přístup k aktivnímu desktopu vývojáře.
Spuštění přes @Computer Use nebo automaticky
Vývojář může nástroj výslovně vyvolat vložením @Computer Use do zadání. Agent jej také může vybrat sám, pokud rozpozná, že úkol vyžaduje interakci s vizuálním rozhraním.
Funkce je dostupná po aktualizaci desktopové aplikace ze stránky pro stažení Cursoru. Uvedení nedoprovázelo oznámení změny cen.
Přístup závisí na oprávněních a kompatibilitě
Computer Use pracuje s aktivním displejem a vstupními ovládacími prvky počítače. Zapojení konkrétní aplikace do automatizovaného úkolu závisí na oprávněních operačního systému a její kompatibilitě. Označení „lokální“ se zde vztahuje k ovládanému počítači, neříká však nic o tom, kde běží AI model.
Přístup k aktivnímu desktopu zároveň znamená, že agent může narazit na soukromé zprávy, přihlašovací údaje, produkční účty nebo ovládací prvky umožňující destruktivní zásahy. Jeho akce se mohou střetnout také se souběžným používáním myši či klávesnice člověkem.
