百度 ERNIE 團隊於 2026 年 11 月 5 日發布 ERNIE-5.5-Flash-Base，是一款總參數達 280B、每個 token 啟用 14B 參數的稀疏 MoE 基礎模型。目標是降低大規模預訓練成本，讓團隊能把資源集中在領域調整、指令微調與強化學習研究等應用層工作上。
ERNIE-5.5-Flash-Base 採用 43 層 Transformer 架構，訓練資料量達 33.5T tokens，支援 128K 上下文長度，推理時可擴展到 1M token。模型結合多種注意力機制降低計算成本，並用多個獨立路由器的 MoE 設計改善專家選擇。
這款模型把工程重點放在降低訓練與推理成本，而不是單純比參數規模，包括分散式 Muon 最佳化器與 FlashMask-4 注意力核心等基礎設施細節都公開說明，反映目前大型語言模型的競爭已經從「誰的模型最大」轉向「誰能把同樣能力做得更省成本」，這也是開發者社群討論的重點。
這則新聞比較偏產業面，牽涉到的 MoE、路由器、注意力機制等概念，需要先打好數學與程式基礎才能真正理解，但可以讓孩子知道，現在最前沿的 AI 技術研究，核心問題往往不是「做得到做不到」，而是「怎麼用更少資源做到」，這和寫程式時追求效率的精神是一致的。
AI開源大型語言模型機器學習