程式忍者PGNinja

GitHub Blog

GitHub 揭密 Copilot 省成本不犧牲品質的四招

· GitHub 工程團隊公開四項降低 AI 程式代理成本的做法,實測顯示效率提升且品質不受影響。

GitHub 工程師 Erik Kristensen 與 Napalys Klicius 分享如何替 Copilot 這類 AI 程式代理省下運算成本。他們發現,輸出愈短不代表愈省,因為過度精簡反而讓代理得多花幾輪對話補齊資訊,結果更慢更貴,因此團隊改用整體任務流程來衡量成本。

團隊做了四項調整:壓縮建置與安裝紀錄等重複雜訊、但保留原始碼輸出;拿掉 view 工具裡已經沒人用的行號前綴,讓推論成本降約 3%;把工具說明精簡約一半,一輪省下約 1300 個 token;並讓背景工作完成後直接回傳結果,不用再多一次呼叫去抓取。

這四項改動各自用 A/B 測試驗證,效率分別提升 3.1%、5.5%、2.9% 與 2.3%,品質指標沒有明顯變差。團隊也提到,精簡提示詞一度讓代理把可平行處理的工作改成依序執行,得補一句提示才修正,顯示省成本的改動也可能悄悄影響代理行為。

這篇文章比較偏工程與產業面,是給開發 AI 工具的工程師參考。對學程式的孩子來說,可以體會一個道理:寫程式不是愈短愈好,而是要想清楚每一步真正需要什麼,這跟寫作業要有邏輯、不要繞路是同樣的概念。

AI開發工具軟體工程

其他新聞