程式忍者PGNinja

GitHub Blog

GitHub Copilot 推出電腦使用功能,可操控桌面應用程式

· Copilot 新增電腦使用功能,能讀畫面、點擊、打字並跨應用程式操作,協助處理沒有 API 的舊軟體,目前為公開預覽。

GitHub 在 2026 年 10 月 1 日推出 Copilot 的「電腦使用」(computer use)功能,讓 Copilot 能代表使用者操作桌面應用程式,包括讀取畫面、點擊按鈕、輸入文字、按鍵與滾動,並能在不同應用程式之間切換操作。這個功能主要是為了處理那些沒有 API、命令列或 MCP 整合的老舊或純圖形介面軟體,把自動化的範圍延伸到過去 Copilot 碰不到的工作流程。

目前這項功能以公開預覽形式上線,已經在 GitHub Copilot CLI,以及 macOS 與 Windows 版的 GitHub Copilot 應用程式中提供。使用者要先手動開啟才能使用,在 CLI 裡輸入「/computer on」,或在應用程式設定中打開對應選項。Copilot 會透過內部的 computer-use tools 讀取畫面,並模擬滑鼠與鍵盤操作來完成任務。

由於讓 AI 直接操控電腦畫面風險較高,GitHub 在設計上加了幾層把關:Copilot 每次要控制一個應用程式之前都會先詢問使用者同意,使用者也可以隨時檢視或重設已經授權過的應用程式清單。在 macOS 上,系統會引導使用者開啟必要的無障礙與螢幕錄製權限;企業或組織的管理員也可以直接在設定裡整個關閉這項功能。

對正在學程式的孩子來說,這個功能示範了 AI 助理如何從「寫程式碼」進一步變成「操作電腦」,概念上類似讓 AI 學會用滑鼠與鍵盤完成任務,而不只是回答問題。不過這主要是企業開發者在用的進階自動化工具,距離一般初學者日常寫程式作業還有一段距離,家長可以把它當作了解 AI 發展方向的參考案例。

AI開發工具自動化

其他新聞