程式忍者PGNinja

GitHub Blog

GitHub Copilot 使用量 API 可分離 BYOK 與企業自訂模型用量

· GitHub 更新 Copilot 使用量 API,讓企業能把自帶金鑰與本機模型的用量,從代管用量中獨立出來計算與監管。

GitHub 針對 Copilot 使用量度量 API 進行更新,新增了對 BYOK(自帶金鑰)與企業自訂模型的追蹤能力。在這次更新之前,企業很難分辨員工用的是 Copilot 代管的模型,還是自己串接的本機模型或自訂金鑰,因為兩者常常共用相同的模型名稱,導致用量與成本統計混在一起,難以拆分。

這次更新在 API 回應中加入了新的欄位:使用者層級會標記 used_local_byok,代表當天是否使用了本機 BYOK 模型;totals_by_local_byok 則依照 byok_kind 與 surface 分組,統計工作階段數、請求數、提示詞數與代幣用量。企業自訂模型則新增 is_custom_enterprise_model 布林欄位,若同一個模型同時以代管與自訂兩種身分出現,系統會分別列出兩筆獨立紀錄,方便拆開計算成本。

這項更新主要是給企業的計費管理員、組織所有者,以及擁有查看 Copilot 指標權限的管理角色使用,讓他們可以把自家供應商的費用與 Copilot 服務費用分開核算,統一掌握整個組織在不同 AI 工具上的用量。不過 GitHub 也提醒,本機 BYOK 的用量仰賴用戶端回報的遙測資料,可能會低估實際用量,而且部分本機供應商不會回報代幣數,統計上仍有誤差空間。

這則新聞比較偏向企業 IT 與財務管理面,跟正在學程式的孩子關係不大。但背後的概念值得留意:當越來越多人把自己訓練或串接的 AI 模型接到工作流程裡,怎麼公平、透明地計算每個人用了多少資源,就會變成一門新的功課,也是日後學習軟體工程與雲端服務時會碰到的真實問題。

AI開發工具雲端服務

其他新聞