Ollaya 是一套以 Apache-2.0 授權釋出的開源決策模型平台,由 Convai Innovations、Mapika 等模型貢獻者打造。使用者可對文字或 JSON 資料提出問題,模型直接在本機算出校準過的答案,不必把資料傳到雲端,適合票務分類、郵件過濾等需要處理敏感資料的企業場景。
技術上,Ollaya 使用參數量從 3.22 億到 79 億的多個輕量決策模型,以單次前向傳播直接產生答案,推理引擎為 ONNX Runtime,支援 CPU 與 GPU 加速。專案提供桌面應用、命令列工具與 Docker 容器等部署形式,並提供相容既有系統的 HTTP 介面。
這個專案在 Hacker News 上獲得不少關注,討論者對其毫秒級延遲印象深刻:官方展示中,在 RTX 4090 顯示卡上,向 Laya 模型連續問五個問題只需要約 10 毫秒。由於模型權重完全公開、可離線使用,且不需要按次計費,社群認為這對重視隱私與成本控制的中小型開發團隊相當有吸引力。
對正在學程式的孩子與家長來說,這則新聞比較偏產業面:Ollaya 展示的是企業如何把 AI 決策功能做小、做快、放進自己的機器裡運作,而不是教你怎麼寫程式。但如果孩子已經在學 AI 或機器學習基礎,這類專案可以當成一個活教材,讓他們看到模型不是只能靠雲端 API,本機也能跑出實用的推理結果。
AI開源開發工具