StarSkirmish Bench 是開發者 Kai McPheeters 做的評測基準,測試 AI 模型實際寫程式與長時推理能力,不只看回答問題表現。做法是讓多家模型限時一小時,用 C++ 寫星海爭霸 Protoss 機器人,再拿去跟其他模型與人類寫的機器人對戰。
測試建立在星海爭霸對戰 API BWAPI 與開源引擎 OpenBW 上,讓機器人直接操控角色對戰。每個模型在原廠指令列工具執行,可用編譯工具、練習對戰與對戰紀錄,以及戰鬥模擬器 FAP 與地圖工具 BWEM,每個模型跑五次,最終版本對戰 26 個固定對手,分三張地圖比賽。
這一版 v0.2 測試了 OpenAI、Anthropic、Google、Meta 等多家模型,包括 GPT-6.1 Sol、Claude Opus 5.5 與 Gemini 4 Argon。結果顯示最強人類寫的機器人依然領先所有 AI 模型,證明「AI 會寫程式」跟「寫出頂尖程式」間還有差距。
對學程式的孩子和家長來說,這評測是個提醒:寫出能跑的程式只是第一步,真正厲害的程式需要不斷測試、檢討、修正,就像機器人要從對戰中學習進步一樣。現階段最強 AI 模型都打不過人類寫的機器人,說明紮實練習寫程式與理解演算法,仍是任何人(包括 AI)寫出好程式的必經過程。
AI開源遊戲程式教育