程式忍者PGNinja

GitHub 熱門專案

香港大學團隊開源 CLI-Anything,讓 AI 代理直接操控專業軟體

· CLI-Anything 能自動把 GIMP、Blender 等專業軟體轉成結構化命令列工具,讓 AI 代理不用靠截圖點擊就能完整操作。

CLI-Anything 是香港大學數據科學系(HKUDS)開源的框架,目標是讓現有的專業軟體都能被 AI 代理直接操控。開發者觀察到,AI 代理操作真實軟體時常遇到三個困境:靠截圖與點擊的 UI 自動化很容易失敗、軟體本身提供的 API 涵蓋不到全部功能、而市面上多數解決方案又犧牲了原軟體九成以上的能力,這個專案就是要同時解決這三個問題。

技術上,CLI-Anything 用 Python 3.10 以上版本搭配 Click 框架,設計了一套七階段自動化流程:先分析源代碼、把 GUI 動作對應到 API,再規劃命令群組與狀態模型,接著實作 CLI、REPL 互動介面與 JSON 輸出,最後撰寫測試、產生文件並安裝進系統路徑。針對不同軟體會呼叫對應後端,例如用 GEGL、Script-Fu 操作 GIMP,用 bpy 操作 Blender,確保真正呼叫原本的軟體而非另外做一套簡化版。

這個專案在 GitHub 上已累積 53.4k 顆星與 4.8k 次 fork,已經為 GIMP、Blender、Inkscape、LibreOffice、OBS Studio、Audacity 等三十多個專業軟體生成完整命令列工具,總計跑過 2461 項測試且全數通過,團隊也發表了對應的 arXiv 技術報告,這樣的規模與測試量在開源專案裡相當少見,是它快速竄紅的主要原因。

對正在學程式的孩子或家長來說,這則比較偏產業面,但背後的觀念很值得認識:命令列(CLI)其實是比滑鼠點擊更穩定、更適合被程式呼叫的操作方式,這也是為什麼學寫程式常會從終端機指令開始練習。看到 AI 代理也需要靠命令列才能可靠地操作複雜軟體,正好說明打好這個基礎的重要性。

開源AIPython開發工具

其他新聞