程式忍者PGNinja

Hacker News

Amazon 用 Strands Decider 取代 Sonnet 省下大量 token 成本

· Amazon 工程團隊把內部工單分類任務,從 Claude Sonnet 4.6 換成開源決策模型 Strands Decider,單則工單成本降了 98%。

Strands Agents 是 AWS 打造的開源代理人框架,其中的 Strands Decider 是框架內專門做「決策」的小型模型。AWS 工程師 Carr Onstott 與 Mehul Jaiswal 把這個模型用在公司內部其中一套最大的工單系統上,取代原本用 Claude Sonnet 4.6 做的工作,任務是把每張工單分類到 20 種類別裡的其中一種,例如客戶升級、容量需求、自動警報或資安發現等。

Strands Decider 跟一般的大型語言模型不同,它接收「目前狀態」與「一組選項」,然後直接針對每個選項輸出機率與信心分數,不需要像 Sonnet 那樣生成一段 JSON 文字答案。團隊先試過原本的 2B 版本,後來換成以 Gemma 4 為底的 E4B 版本,部署在 SageMaker 的 ml.g5.xlarge 執行環境上,單次請求大約耗時 640 毫秒,也把 20 個分類標籤重新寫成一兩句話的判斷條件,讓提示詞變得更短。

效果上,Sonnet 4.6 平均延遲 4,215 毫秒、用掉 6,724 個 token;換成 Strands Decider E4B 後,延遲降到 897 毫秒、只用 2,010 個 token。換算成成本,Sonnet 4.6 每張工單約 0.0222 美元,Strands Decider 只要約 0.0005 美元,便宜了 44 倍,團隊估計一年能省下數百萬美元的 token 支出,整個切換過程用 AppConfig 分三種模式逐步進行,確保是安全的。

這篇文章很適合用來跟學程式的孩子說明一個概念:不是任何任務都需要用最強的大型語言模型硬做,像「把工單分到固定的 20 類」這種有明確選項的分類任務,用小一點、專門設計的決策模型反而更快、更省錢。學會先弄清楚問題的形狀,再挑合適的工具解決,是比單純追新模型更重要的能力。

AI開源AWS成本優化

其他新聞