這篇文章是一位使用者實測 NVIDIA RTX Spark 筆電(如 MSI Prestige N16 Flip AI Plus)在 Linux 上執行 AI 推論的效能問題。作者發現插電使用 Linux 時,語言模型的執行速度只剩 Windows 或電池模式下的一小部分,因此深入調查原因。
作者在 Windows、WSL、Linux(插電與電池模式)及 NVIDIA DGX Spark 桌機上測試,插電用 Linux 時只有每秒 13.9 個 token,遠低於 Windows 的 65.4 個,GPU 時脈被鎖在約 780 MHz,Windows 下可達 2.2 GHz 以上。
問題根源是一套叫 Nvidia Platform Controllers and Framework 的韌體,用加密的電源設定表分配 CPU 與 GPU 功率,而加密表目前只有 Windows 驅動能解開,Linux 因此調不好功率分配,導致效能大降,引發許多關於廠商把關鍵韌體加密的討論。
這則比較偏硬體與作業系統的產業面問題,跟寫程式本身關係不大,但可以讓孩子了解:一台電腦的效能不只跟硬體有關,也跟韌體、驅動程式怎麼寫有關。同一顆晶片換一個作業系統,速度可能差好幾倍,這也是許多工程師研究電腦系統的原因。
硬體Linux作業系統