法國 AI 公司 Mistral 公開了新一代大型語言模型 Large 4,代號 Le Chonk,的模型權重,讓任何人都能免費下載使用。這個模型採用混合專家架構,參數規模高達一兆,是目前少數公開放出權重的超大型模型之一,此版本是在公開預覽版推出三週後發布的正式改進版。
權重採用經過修改的 MIT 授權,一般開發者可以自由下載、修改並用於商業產品,只有把模型包成雲端服務轉售給別人的業者需要另外簽約。模型支援推理模式分成 Low、Medium、High 三個等級,可依任務難度調整運算成本,也支援圖片等多模態輸入與超過 160 種語言。
官方公布的測試成績顯示,這個版本在程式撰寫測試 FrontierCode 2.0 上,用比對手少 47% 的 token 就拿下 19.7% 的領先成績,在網路安全防禦測試中對惡意要求的拒絕率也達到 96.6%。對 AI 圈來說,像這種萬億參數規模還能公開權重的模型並不常見,因此受到不少關注與討論。
這則新聞比較偏產業面,一般人不會自己訓練這麼大的模型,但對正在學程式或 AI 的孩子來說,可以知道業界除了付費使用模型,也有公司選擇把訓練好的模型整個開放出來,讓全世界的開發者都能下載研究,這也是認識開源精神的一個真實例子。
AI開源大型語言模型