hero

10 月 15 日發布的 StarSkirmish Bench v0.2 容易被濃縮成「Gemini 4 Argon 玩《星海爭霸》」。這個說法把工作方式說反了：模型並不直接觀看戰場、即時點選單位；它在限時內編寫一個可以獨立執行的 C++ Bot，再由 Bot 參加對戰。評測的對象是長時間寫程式、編譯、測試與修正的代理流程，而不只是某個模型對戰遊戲的即時反應。

原文摘要

從挖礦骨架到可對戰程式：一小時裡發生什麼

評測規則給每次執行一個僅會採礦的神族 Bot 骨架，目標是在一小時實際時間內，把它改成能打比賽的程式。參賽者可讀取三個示範 Bot 的原始碼，以及戰鬥模擬器 FAP、地圖分析工具 BWEM；可使用工具編譯、打練習賽、讀賽後摘要、逐局紀錄及自己的日誌。Bot 對接 BWAPI 4.4.0，實際遊戲由 OpenBW 運行。時間結束時評測系統直接收下工作目錄中的版本，沒有另設「交卷」指令。這使「最後幾分鐘仍能編譯、能上場」也成為測試的一部分。

練習對手按難度分層：三個示範 Bot 位於 D 級，另有中段 C、B 級、較強 A 級與頂級 S 級。代理必須自行決定什麼時候先把戰術寫到可跑、什麼時候與強對手打、敗仗後改動哪段程式。光會生成一套看似完整的策略，卻不回頭檢查日誌、修正可觀察的失敗，未必能在這項測試得分。

最終 Bot 的分數不是代理自己報告的練習勝率。每個模型獨立跑五次，各次交出的 Bot 再對固定的 13 個對手（10 個人寫的競技 Bot、3 個示範 Bot）於三張雙人地圖各打六局；每個 Bot 的勝率由這些正式賽計算，模型成績取五個 Bot 的平均。兩個模型寫出的 Bot 不互相對戰。固定對手名單的好處是新增模型不必重跑全部舊模型，代價則是結果始終代表對這個名單與地圖的適應，不能推為開放賽事的通用實力。賽事設定與計分方法也交代：若一場打到 60 分鐘上限，會依擊殺與摧毀分數決勝；不是所有記在表上的「勝」都代表全殲對手。

成績排名不能只看那張榜

在 v0.2 的五次執行平均勝率中，GPT-6 Astra 排第一，GPT-6.1 Sol 第二；Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1 落在 37 至 39 的區間，原文把這三者稱為功能上並列。Gemini 雖列第三，這個名次差距不應讀成它穩定地勝過後面兩個。報告還揭露它五次最強與最弱成品相差 18 個勝率百分點，GPT-6 Astra 與 Claude Opus 5.5 的相應跨度則為 9 與 8 點。平均數之外，重跑的不確定性對採購或選模型同樣重要。榜單與執行波動圖由評測主辦方提供；網站未在這段文字中給出針對這些近似名次的統計顯著性檢定。

更嚴格的對手組合顯示另一面：面對 Stardust、PurpleWave、BananaBrain 三個頂級人類編寫的 Bot，排名第一的 GPT-6 Astra 也僅贏得約 7% 的比賽。這與含示範 Bot、較弱 Bot 的整體勝率使用不同分母；不能拿 7% 去推算它對所有競技對手的勝率。主辦方同時提醒：目前只在三張雙人地圖比賽，真實人類 Bot 錦標賽條件更難。頂級對手分組結果因此比「模型會玩星海」更準確地標出能力邊界。

評測到底測到模型，還是測到工具鏈？

這一版與 v0.1 有兩個實質改動：原先共用第三方代理框架、統一 high 推理設定；v0.2 改用各實驗室的第一方 CLI——OpenAI 模型透過 Codex、Anthropic 模型透過 Claude Code、Google 模型透過 Antigravity CLI、Meta 模型透過 Muse Code——並使用各 CLI 可提供的最高推理檔位，Gemini 4 Argon 為 highmax。官方 CLI 接近開發者真實用法，但模型、提示包裝、工具行為、上下文壓縮方式一起變了；因此不能把 v0.1 到 v0.2 的差異全部歸給模型權重進步，也不能把同榜名次當成把模型抽離 CLI 後的純能力排序。Harness 說明另外確認所有代理都無法使用網路搜尋或網頁擷取，開始計時前就已安裝 CLI；上下文接近約 25 萬 token 時，CLI 會自行壓縮。

報告分析每次執行的軌跡，發現與最終分數最相關的行為，是一小時內與七個最強練習 Bot 打了多少場。前三名 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 較早開始挑戰強敵，即使當時常輸；Claude Fable 5.1 主要與較弱對手練習，卻仍取得近似 Gemini 的平均成績，是現成的反例。這是跨九個模型的觀察關聯，不是隨機分配練習策略的因果實驗；不能據此宣稱「只要多打強敵就能拿到 Astra 的成績」。合理的機制解讀是：有強敵回饋，代理有機會更早暴露戰術缺陷；但修正速度、程式本身品質與練習時間配置也同時影響結果。執行軌跡與練習圖可供逐項檢查。

固定環境的可比性，也劃出了外推邊界

完整目標定義把種族與對戰類型限制為神族對神族，地圖也固定在 Heartbreak Ridge、Benzene、Destination。這有利於讓不同模型面對一致條件、減少「某一次抽到特殊地圖」造成的雜訊；但寫得出穩定的神族鏡像對戰 Bot，並不等於會處理三族交叉對戰、陌生地圖與真實排行榜的戰術適應。提供 FAP、BWEM 與示範程式也降低了底層遊戲開發門檻；評測因此更聚焦在如何理解現成工具、寫策略、使用回饋，而非誰能從零重新造一套地圖分析器。若把分數拿來宣稱一般軟體工程水準，就跨過了任務設定所能支持的範圍。

固定名單還帶來一個基準維護問題：今天榜上的 Bot 可以針對公開的 13 個對手改進，卻未必能打贏沒出現在名單的新 Bot。v0.2 採用的方式是練習與正式賽分離、正式賽用新隨機種子；這能減少「只記得自己練習賽局面」的問題，但對手集合本身仍可被反覆適配。如果未來提供未公開對手、跨地圖與跨種族的保留測試，才能更清楚區分代理是學到了可遷移的策略，還是寫出了針對公開賽制的解法。這是根據評測設計做出的外推限制，不是指控現有參賽者作弊。

此外，平均勝率不是代理本身每一步決策品質的直接量測。它是一小時程式撰寫與之後多場對局共同產出的結果：一個 Bot 如果在開局、資源利用、攻擊時機任一環節出錯，都可能表現在同一個敗場。要診斷模型為何失敗，需要搭配作者提供的逐次軌跡與程式差異，而不是只把整場輸贏歸因於「推理不夠」。評測公開「與強 Bot 練習的局數」這種過程指標，是可檢驗的線索；它還不是對哪一個改碼步驟有效的消融實驗。

用這份榜單選工具，還缺哪些資料

主辦方將單次一小時執行的平均 API 費用與成績並列，稱 GPT-6.1 Sol 約以 GPT-6 Astra 略高於十分之一的費用取得第二名。這是一個特定用量與定價下的比較，不是保證在不同 token 配額、CLI 限速、失敗重跑次數和企業合約價格下仍維持同樣比例。成本圖適合作為下一輪實測的起點，而非直接代入生產帳單。

主辦方也說，本評測與 Artificial Analysis Intelligence Index 的排名關聯很弱（文中給出的 Spearman ρ 為 0.26），與另一些困難程式設計評測則較接近。這個觀察允許兩種較窄的說法：不同測試確實量到不同面向；或模型／代理對某些公開題型與工具流程的適配程度不同。報告提出熱門評測可能被針對性優化的解讀，但沒有在這裡證明任何廠商為某項測試專門訓練。相關性討論本身也有樣本小、部分外部評測未涵蓋全部九個模型的限制。

要把這套測試轉成開發團隊的採用判斷，至少應另看三件事：同設定重跑時，交付物能否穩定編譯並達到可接受的最低勝率；在強對手上的成績，而非僅含示範 Bot 的總平均；以及包含失敗重跑、工程師審查的實際總成本。StarSkirmish 展示的是限時、可執行、可驗收的代理寫碼能力；它沒有證明同一代理能接管線上遊戲操作，也不保證企業軟體任務會有相同的排名。