程式忍者PGNinja

Hacker News

Apple 用 MLX 讓 Mac Studio 跑巨型 AI 模型

· Apple 展示用開源框架 MLX 連接多台 Mac Studio,在本機跑出 816B 參數的大型語言模型。

這篇文章出自 Apple 機器學習研究團隊,主題是用自家開源框架 MLX,在 Mac Studio 上執行超大型語言模型推論。MLX 針對 Apple 晶片的統一記憶體架構設計,讓使用者在自己的硬體上跑推論與微調。重點是展示不靠雲端伺服器,用消費級 Mac Studio 跑上千億參數的模型。

硬體是搭載 M5 Ultra 晶片的 Mac Studio,單機最高 512GB 記憶體,透過 Thunderbolt 5 搭配 RDMA 連接多台機器。軟體用兩種平行化:管線平行化把模型層切開依序執行;張量平行化把每層切開讓機器同時運算,再用 mlx.launch 與通訊元件 jaccl 協調。

實測顯示,單台 M5 Ultra 跑 128B 參數模型,首字輸出 24.6 秒、每秒約 7.7 字;四台機器用張量平行化跑 816B 參數的 Muse Spark Open,首字只要 4.8 秒、每秒 36.73 字,耗電約 300W。多機串連讓一般人也能在家跑原本只有資料中心能扛的巨型模型。

這篇文章偏向硬體與系統工程的產業面,對剛學程式的孩子門檻偏高,不是入門教材。但「把大任務拆成幾份分給不同機器平行處理」的概念,跟排程、分工合作的邏輯思考相通,家長可以簡化成「電腦也會分工合作」的比喻講給孩子聽,不必要求孩子真的理解 MLX 或 RDMA 細節。

AI開源硬體

其他新聞