程式忍者PGNinja

GitHub 熱門專案

Vercel 推出 Agent Desktop,讓 AI 代理穩定操作桌面應用程式

· Vercel Labs 用 Rust 打造 Agent Desktop,透過系統無障礙樹讀取應用程式真實結構,讓 AI 代理能可靠點擊、輸入與操作電腦。

Agent Desktop 是 Vercel Labs 開發的開源桌面自動化工具,目的是讓 AI 代理能夠「可靠地使用電腦」。過去常見的作法是用電腦視覺去比對畫面上的像素找按鈕,但畫面一變動就容易失準;這個專案改用作業系統原生的無障礙樹(accessibility tree)去讀取應用程式真正的 UI 結構,讓代理知道畫面上到底有哪些可以互動的元件。

技術上,Agent Desktop 用 Rust 開發,同時支援 macOS、Windows 與 Linux,並提供 CLI 工具與 C 語言函式庫(libagent_desktop_ffi)方便其他程式呼叫。使用方式是下指令 snapshot,系統會回傳一份 JSON,裡面列出畫面上每個可互動元件的唯一參照(ref);代理接著對這個 ref 下達 click、type、scroll 等動作,再重新 snapshot 確認結果,形成「觀察、操作、再觀察」的穩定循環,總共提供約 60 種指令,涵蓋視窗管理、鍵盤滑鼠、剪貼簿與通知等類別。

這個專案之所以在 GitHub 熱門榜上衝到前段,一方面是搭上 AI 代理操作電腦這個近期熱門題目,另一方面是 Vercel 這個知名團隊背書,加上用無障礙樹取代畫面像素比對解決了社群長期抱怨的「代理手眼不協調」問題。文件中也特別提醒,snapshot、剪貼簿內容與螢幕截圖可能包含使用者的私密桌面內容,使用時要留意不要外流到公開日誌。

對正在學程式的孩子與家長來說,這則新聞比較偏產業面,用到的無障礙樹、Rust 與 FFI 綁定等概念都屬於進階系統程式設計,不是入門該優先碰的東西。但可以當作一個很好的例子,說明軟體工程裡「找到穩定可靠的資料來源」比「用取巧的方式應付眼前狀況」重要,這種思維方式其實在任何程度的程式學習裡都適用。

AI開源開發工具Rust

其他新聞