程式忍者PGNinja

Hacker News

Google 推出 Gemini Decisions API 加速封閉式決策判斷

· 這個新 API 用單次前向傳遞直接評分是非題、選擇題與量表評分,比一般生成式模型回應更快也更便宜。

Google 發表 Gemini Decisions API,是一個專門處理「封閉式決策」的新端點,背後使用 Gemini Decision 1 模型。官方說法是要給開發者「針對有界選擇的原語」,像是工具選擇、政策檢查、模型路由與上下文評分,解決的是開發者常常只需要一個明確答案,卻得跑一整套生成式模型逐字產生答案才能拿到結果的浪費。

技術上的做法是用一次前向傳遞直接算出分數,而不是像一般生成式 API 那樣一個 token 一個 token 解碼。輸入可以混用文字、圖片、音訊、影片、PDF,最多支援 256K tokens 的上下文,並提供三種回應格式:是非題回傳機率、選擇題(最多 255 個選項)回傳勝出選項與正規化機率、量表評分回傳加權分數,單次請求最多可評估 1,000 個獨立問題。

這則貼文在 Hacker News 上討論度很高,吸引注意的主要是效能與價格:端對端延遲只要 150 到 250 毫秒,定價是每百萬輸入 token 0.10 美元且不計輸出 token 費用,官方宣稱成本比 Gemini 3.5 Flash-Lite 便宜約五倍,對需要大量做分類、路由判斷的服務來說是明顯的成本改善。

這則新聞比較偏產業面,是 Google 對開發者釋出的新 API 服務,不是孩子馬上會用到的工具。但背後的概念值得知道:當答案只有幾個固定選項時,不需要整段生成文字,用更輕量的方式直接算分數會更快更省,這也是寫程式時選對工具處理對的問題的實例。

AIAPI開發工具雲端服務

其他新聞