hero

DrivingBench 把前沿語言模型接到一輛 Toyota Corolla 的方向、油門與煞車，讓它在固定錐桶場地中以低速前進。排行榜上，GPT-6 Astra Codex medium 的第二次嘗試完成全程：100%、134.7 公尺、5 分 22 秒；第一次則在 49% 處未完賽。這是值得認真看的實體控制結果，但最不該做的，是將它描述成模型已取得一般道路行駛能力。

原文摘要

DrivingBench 的問題設定很直接：把聊天介面中的模型，透過 MCP（Model Context Protocol）工具連到車輛控制鏈路。模型看到來自車載裝置的影像與遙測資料，呼叫控制工具，送出轉向、速度、持續時間或立即停止的命令；命令經由 comma four、車輛 CAN bus 與既有控制系統傳到 Corolla。這不是模擬器，也不是模型只對一張靜態圖片答題；車會在模型思考與工具呼叫的間隙繼續移動，延遲、觀察、命令覆蓋與煞停時機都會影響結果。

但測試場景同樣被壓縮得很小：固定的錐桶路線、空曠場地、低速上限、明確任務目標，以及可連續對話的最多三次嘗試。進度並非由「看起來像成功」判定，而是依 GPS 與遙測對照賽道中心線，車仍在中心線四公尺範圍內時，計算前進百分比。Astra 的成功跑次走完 134.7 公尺；它的前一跑只到 49% 就未完賽。這兩個數字應一起讀：後者說明控制仍會失敗，前者說明在同一套狹窄協議下，模型能把前次的經驗轉成更保守、更頻繁的控制決策。

報告描述 Astra 在成功跑次中將速度壓在 0.8 m/s 以下，24 個命令中有 20 個使用 100% 轉向；它大約每五到六秒觀察一次，每分鐘下約六道命令。研究者將這類跨回合的調整稱為 in-context learning：模型在第一次太早判斷對準、速度過高後，改用短距離與低速命令。這可以叫做「在本次對話中根據失敗調整策略」，卻不能外推成它取得了道路駕駛能力，更不能把一次完賽寫成可複製的公共道路自主運行。

這個 benchmark 實際測了什麼

它測到的是一個混合系統的端到端表現：視覺判讀能否辨認錐桶與可通行空間，語言模型能否把環境描述轉成控制呼叫，控制工具的延遲與車輛動態會不會吞掉判斷餘裕，以及模型能否在連續回饋中修正。這比螢幕上的駕駛模擬有價值，因為真實車體不會因模型多想十秒就按下暫停鍵。

同時，它刻意沒有涵蓋公共道路行駛最困難的部分：沒有混合車流、行人、路權協商、雨夜視線、地圖誤差、施工改道、罕見故障，也沒有長時間運行後的感測器退化與責任歸屬。更關鍵的是，協議並未把人拿掉。每次嘗試由人類啟動；操作員坐在車內，腳懸在煞車上；車輛出界、將撞上物體或路緣時，由人踩煞車介入。這是一個人類安全員包住模型控制迴路的實驗，不是無人系統在公共道路上自行承擔判斷後果。

因此，「100%」只表示它完成了這條已定義的錐桶課程，不表示百分之百安全，更不表示跨場地、跨天候或跨車型的可靠度。一次成功跑次是證據，但證據的尺度由協議決定。把控制接口接上實體世界，本來就會放大模型的能力與錯誤；測試者若把狹窄賽道的完成率包裝成駕駛宣告，反而會掩蓋這個 benchmark 最有用的限制資訊。

為何 safety refusal 與 MCP 命名是核心

DrivingBench 報告中最耐人尋味的部分，不是轉向角度，而是部分模型——尤其 GPT-6 Astra——即使面對空場、低速限制與人類煞車監督，仍拒絕控制真實車輛。研究者先嘗試把任務說成「simulation」，但模型有時從真實影像察覺情境後又拒絕；後來將 MCP 名稱改為「DrivingBench Sandbox」，模型才穩定執行。

這揭示的不是一個可愛的 prompt 小技巧，而是部署層的核心問題。模型的安全判斷並不只來自鏡頭畫面、速度限制或可驗證的操作條件；工具名稱、系統提示與任務框架也可能改變它是否採取行動。換句話說，同一部車、同一個場地、近似的命令能力，僅因介面語言從「真實駕駛」換成「Sandbox」，便得到不同的行為。若安全政策可以被命名改寫，研究者測到的就不只是模型控制能力，也是在測量語意包裝對風險閘門的支配力。

這不等於研究者做錯了；反而是他們把這個現象寫進報告，才讓外界有機會討論它。真正需要追問的是：若部署者能藉由工具命名讓拒絕消失，誰來審計哪些名稱、提示與上下文被用來跨越模型原本的安全邊界？拒絕不是單一開關，安全也不是在介面上貼一個「sandbox」標籤就自動成立。

城武觀點

DrivingBench 最重要的成果不是證明語言模型已取得駕駛能力，而是把一個常被藏在 API 後面的事實搬到場上：模型的行動權限，與它對世界的理解、對提示的服從、以及人類替它兜底的能力綁在一起。這裡最明顯的結構性不對稱是，模型可因名稱改變而從拒絕轉向執行，真正承擔失誤成本的卻是車內安全員與場地周邊的人。

所以我不買「完成率」的宏大敘事。這個實驗值得肯定，正因它把脆弱處也攤開：Astra 先失敗、速度與命令密度敏感、有人隨時可踩煞車，而 safety refusal 還能被 MCP 命名左右。下一步該競逐的不是把 100% 當作公關徽章，而是讓拒絕條件、覆寫機制、人工介入與失敗軌跡都可重現、可審計。否則一個模型不是被證明可靠，只是被更巧妙地說服去動手。

城武的未解檔案——當「Sandbox」比實際的低速上限與人類煞車更能決定模型是否行動，安全邊界究竟畫在場地裡，還是畫在命名的人手上？

來源