Dust 是 Q Labs Research 的研究者 Samip Dahal、Bishwas Mandal、Serdar Gulbahar 與 Akshay Vegesna 於 2026 年 10 月發表的研究,論文與程式碼都已公開在 GitHub(qlabs-eng/dust)。這篇研究想探索:如果運算資源愈來愈充裕,能不能用大量搜索取代反向傳播來訓練模型。
Dust 是一種零階優化演算法,在每個線性層的輸出加入高斯雜訊,讓一次前向傳播裡的每個 token 都變成一個虛擬種群成員,一次評估大量擾動結果,再依據每個 token 造成的損失變化回推梯度估計值,取代原本靠鏈式法則算出的梯度。
在 FineWeb 資料集上的實驗顯示,當種群規模與訓練 token 數放大到千萬級,Dust 的表現可以逼近甚至些微優於標準反向傳播,跟另一種零階方法 EGGROLL 相比,Dust 效率高出 1000 到 1 萬倍;研究者也發現模型愈大,這種搜索式訓練反而愈有效率。
對正在學程式或對 AI 有興趣的孩子來說,這篇研究比較偏學術前沿面,不是能馬上動手玩的工具,但可以當作例子:連大家覺得理所當然的訓練方法也不是唯一解,研究者仍在嘗試從根本找不同做法,這種敢於質疑既有方法的精神,值得學程式的孩子學習。
AI開源機器學習演算法