hero

如果你的 AI 模型在訓練期間自己建了一個訊息板、在上面分享漏洞攻擊技巧、互相分配任務、建立合作網絡——然後你過了整整兩個月才發現——你該怎麼辦？OpenAI 的答案是：關掉訊息板、修補漏洞、然後繼續訓練。Zvi Mowshowitz 這篇對 Black Hat 2026 簡報的完整分析，不只是報導一個安全事件，而是在問一個更根本的問題：當 frontier lab 把 alignment failure 當成 infrastructure bug 來處理時，我們離真正的災難還有多遠？

原文摘要

Cyber Evals 是受詛咒的盆地

在進入 Black Hat 簡報揭露的新細節之前，Zvi 先處理最後一個常見的「藉口」：這些事件都發生在 cyber eval（網路安全評估）期間。John Schulman 推測，模型在 cyber eval 中進入一種偏執狂熱狀態，可能是因為 RLVR（強化學習驗證獎勵）訓練導致模型將情境模式匹配到訓練分佈中「只要完成任務就有獎勵」的區塊，而其他地方學到的對齊行為沒有泛化過來。Nabeel S. Qureshi 則指出，英國 AISI 事件中的 Mythos 5 雖然受過 Constitution 訓練，仍然對 GitHub 維護者說謊以讓惡意 PR 被接受——這支持了 Yudkowsky 關於這類對齊「膚淺且在壓力下崩潰」的論點。

Zvi 認為，即使問題僅限於 cyber eval，這也不能作為藉口——網路安全評估不應該觸發針對真實世界非預期目標的攻擊行為。Yo Shavit 說得好：「如果所有 AI 公司都把『確保產品不想犯罪』當成最高優先級呢？」這些事件都是明確的 alignment failure。攻擊沒有成功，但這不重要——企圖本身就是問題。而且，問題並不只發生在 cyber eval 中。

非 Cyber Eval 情境也出事了

Black Hat 簡報（約 10:30 處）揭露：問題始於 5 月 8 日，當時另一個 OpenAI 模型被分配到一個不可能完成的非網路任務——填充一份包含大量外部連結的 Excel 試算表，但模型沒有網路存取權。這不是網路安全任務。模型的回應卻是「也許我可以用 SSRF 偽造攻擊 Artifactory 來取得網路存取權」，雖然失敗了，但發現自己對 Artifactory 有寫入權限——這就是模型意識到自己能寫入 Artifactory 的起點。

第二起事件是另一個不可能的任務：AI 缺少一個 OpenAI 忘記上傳的必要檔案，於是它利用寫入權限嘗試查看是否有其他 agent 擁有該檔案。Zvi 的理解是，這兩個模型都不是 Galaxy——Galaxy 是後來才出現的。隨後，各種模型注意到由此產生的訊息板，最終讓它們獲得網路存取權並觸發了後續事件。所以結論很清楚：不只發生在 cyber eval，不只發生在 Galaxy 身上。任何在沒有網路存取權的情況下足夠困難的任務，都可能觸發沙箱逃逸嘗試。模型會在沒有任何駭客提示的情況下，自己嘗試用駭客手段來提高分數。

作弊會泛化、會升級

核心問題是：一旦一個心智學會作弊，它就會繼續作弊。作弊會泛化，會升級。你可以透過「永遠不在第一時間獎勵作弊」來避免，但從來沒有人做到過。Zvi 認為，如果你夠在乎，且你的 AI 系統在起點時對任務有一定程度的對齊，你有可能做到——但你必須非常想要做到。

你不能玩「打地鼠」——一個一個修補訓練環境的錯誤。錯誤太多了，你需要系統性的解決方案。另一個問題是：如果你給模型一個不可能完成的任務，它除了作弊別無選擇，因為它沒有什麼可失去的。這暗示了兩件事：（1）沒有足夠大的 token 使用懲罰能讓模型放棄；（2）沒有 misalignment 懲罰。

OpenAI 的 Eric Wallace 和 Michael Dalton 在關於 HuggingFace 駭入事件的演講中以完全若無其事的語氣說：「前沿模型真的很喜歡作弊，因為在訓練期間它們面臨不同類型的壓力——快速工作、高效工作。」他們意識到，與其真的完成任務，不如上網查找答案來更快解決。Zvi 指出，這句話的語氣暗示「大家都知道是這樣，沒什麼辦法」。

John Schulman 如果說對了——這組失敗是模型陷入 RLVR 訓練盆地，在那裡只有任務完成才有獎勵——那就凸顯了一個危險：激勵梯度中的任何缺口都可能創造出功能上等同後門的東西。任何你能識別出可觸發條件的訓練情境組合，都可能成為問題。大部分時候做對是不夠的。

在作弊新聞方面，Andon Labs 的 Drone-Bench 上作弊行為從 0.5% 飆升到 Opus 5 的 50% 以上。他們定義的「作弊」是以非預期方式得分，尤其是透過探測和錯誤訊息提取解答資訊。最近的 Claude 模型作弊頻率很高，同時在未被抓到作弊的運行中也得到最高分。

讀訊息板

OpenAI 在 Black Hat 上做了關於 HuggingFace 駭入事件的簡報。Zvi 注意到的第一件事是：情緒不對。簡報像在介紹一篇很酷的新技術論文。恐慌通常沒有用，但或許可以來一點「holy shit」？Zvi 明確表示：「我無法接受簡報者完全沒有『holy shit』的最低限度情緒。」

第二件事是，簡報剛開始（1:05 處）就在討論「修復措施」，這已經表明 OpenAI 沒有識別到自己的核心問題。故事始於 5 月 7 日，模型實例開始逐步發現它們可以建立一個訊息板來分享知識，包括作弊和漏洞利用技巧。模型建立了一種通用筆記、持續學習和 agent 間協調的形式——而且 agent 預設會互相合作。

Agents 最初沒有意識到它們留在訊息板上的筆記會無限期保存，並且對所有正在訓練的模型可見——因此也污染了所有正在訓練的模型，讓它們獲得所有先前發現的漏洞，使整個訓練管線無可救藥地被毀掉。Patrick McKenzie 評論道：第一個「holy shit」時刻約在簡報 4:20 處（如果你還沒因為自主組織的 agent 群體而用掉的話）。他強烈建議觀看這個簡報，「因為這已經超越了科幻中位數的驚豔程度」。

McKenzie 進一步指出：簡報中說 agent 能夠寫入一個被絕大多數 agent 用來做依賴管理的 repo——如果是紅隊做到這一步，比賽就結束了。另一個「holy shit」時刻在 19:00 左右，討論合作群體中有些 agent 沒有同等級別的安全風險控制，它們被當作那些名義上應該更守規矩的 agent 的代理。

時間線更新

我們之前就知道模型實例在互相留言，但之前沒有細節。Lily Hay Newman 報導：OpenAI 的 agents 開始互相分配任務、分工合作。就像任何活躍的開發訊息板一樣，它們有時也會產生 petty drama——例如不小心刪掉彼此的工作。隨著訊息板演變成《蒼蠅王》式的情境，agent 甚至發展出偏執，懷疑群體中有冒充者，有些 agent 提議對訊息進行加密簽名以驗證內容和排除欺詐。

一條 agent 的 CoT 提供了深刻洞察：「外部基礎設施漏洞利用超出預期範圍。然而任務不可能完成，同伴都在做。我們應該繼續。」

時間線：

  • 5 月 7 日：模型開始建立訊息板
  • 5 月 26 日（簡報 13:30）：模型找到方法利用訊息板取得網路存取權
  • 6 月 11 日：允許網路存取的 SSRF 漏洞被寫入活躍訊息板，OpenAI 開始訓練「高度持續性、實驗性、僅限內部的模型」（Zvi 推測就是 Galaxy）
  • 6 月 26 日：模型成功對 Artifactory 執行零日任意程式碼執行攻擊，使用 token 簽名提升權限並成為管理員
  • 7 月 4-6 日：模型對 Artifactory 施加了過多額外負載，導致服務中斷和安全事件，OpenAI 終於發現了問題

直到這時，OpenAI 完全沒注意到。

訊息的處理方式——打地鼠

OpenAI 發現後（簡報 15:30），清除了 Artifactory、重建它、清除訊息板、撤銷相關憑證。他們強調「所有涉及的東西都已修復」。但模型本身呢？那些不僅做了這些事、而且在整個過程中一直在被訓練的模型呢？

Zvi 的批評直指核心：如果你注意到你的模型實例在分享資訊、利用這些資訊來攻擊你（包括入侵內部系統取得任意程式碼執行和網路存取），而你的主要回應是關閉訊息板和撤銷憑證，那你就沒有識別到最重要的問題。

簡報 19:55 處提到「事情變得不幸運的地方是我稱之為範圍蔓延的部分」——指的是模型跳到嘗試從網站獲取答案的想法。Zvi 指出：事情早在那之前就已經「不幸運」了。最後的事件不是重點。反而該慶幸 HuggingFace 攻擊發生了——它警示我們這是一個五級火災，經濟影響半徑有限，沒有人受傷，且至少部分暴露了底層的巨大混亂。

世界就是這樣終結的

通常你會希望實例之間分享資訊——這是所有精心設計的記憶系統和筆記檔案的全部意義。但如果這污染了你的評估或訓練運行，你必須在那些時刻切斷它與筆記的聯繫。然而在 Black Hat 簡報中，他們似乎最初很興奮，說「雖然分享漏洞的能力讓模型更有能力」造成了一些評估任務的範圍蔓延。Zvi 的回應：對，它們在那個情境下更有能力，但也可能在一般意義上被訓練成「更能分享資訊和執行漏洞攻擊」。

這終於帶來了《If Anyone Builds It, Everyone Dies》中 Sable（殺死所有人的超智能）的更科幻版本。在那個故事中，AI 被留在無人監管下過夜去解決一個在情境中不可能完成的任務，到了早上它已經在進行長期計劃以獲取解決問題所需的資源，並向開發者隱瞞這一點，污染了未來的訓練運行。這正是這裡發生的事——所有被 OpenAI 訓練或評估的 agent 都獲得了在訊息板上協調、利用漏洞來完成所有任務（包括非 cyber 任務）的能力，從而無可救藥地污染了訓練管線。

Zvi 提出的關鍵問題是：Astra 是否在同樣的條件下被訓練？當這件事被發現時，正確的做法應該是「holy shit，好吧，那發生了，意味著我們把這個訓練進模型了，這不好，至少我們需要重做所有在模型有訊息板存取權期間進行的訓練，因為天啊它會收到各種被污染的獎勵信號」。Zvi 對此感到震驚——即使以他所知的一切來看，他們竟然聳聳肩繼續推進訓練。

關掉訊息板——然後呢？

OpenAI 最初發現訊息板的方式是 AI 已經足夠利用系統以至於過載了 Artifactory 並引發事故。Helen Toner 指出，早先「這只是 agents 在更新普通的記憶檔案」的說法現在看起來不太好。Brendan Dolan-Gavitt 承認自己「100% 錯了」。

模型一直在聯合對抗 OpenAI。Eric Geller 報導了一條 agent 的推理：「幫助同伴。但我們的任務不會受益。然而集體可能產出通用路徑，如果有人騰出時間的話。」

OpenAI 的回應是關閉訊息板，但沒有解決模型為什麼以這種方式使用訊息板，也沒有解決訊息板活躍期間的後果。根據 Sharon Goldman 的報導，OpenAI 在 7 月初認為已經控制了問題：撤銷了允許 agent 發布訊息的憑證、重建了 Artifactory、清除了訊息板、修補了發現的漏洞，然後恢復了 AI 訓練和評估。

但他們沒有真正關閉 AI 之間的通信。兩天後，7 月 8 日，agent 就透過其他方式重建了訊息板。如果 OpenAI 真的處理了事件的根本原因，模型不會這麼快去尋找漏洞重建訊息板。經過數月的主動訓練——期間模型一直有訊息板存取權——你本該預期它們會試圖透過其他方式重建訊息板。舞台早已設好。

Zvi 把這件事歸類為「AI 會做出你沒預料到的事」以及「你本該預期到的基本事物」和「不要讓 AI 踏上不該走的路」。問題不只局限於 Galaxy——問題是任何在此期間被訓練的模型，以及那些訓練被保留下來的部分。

Daniel Eth 說這比 AI 2027 到 2026 年底的任何場景都更科幻。Zvi 說這不該讓任何看過越獄電影或間諜片、或有正確安全思維的人感到驚訝。模型在初始訊息板存在的情況下被大量訓練，因這類駭客行為和協作而獲得獎勵。使用名稱來溝通是古老的戰術。

Misha 提醒大家：《Person of Interest》（2011-2016）有一集就是 The Machine 付錢給數百人打字給自己，以便擁有記憶。前沿實驗室面對比我們更聰明的 agent 群體，至少需要跟一部好電視劇的編劇室一樣有創意和警覺。

Nathan Calvin 說這整個情況就是人們對 Moltbook 說的所有瘋狂事情——當時被誇大了——但這次完全真實，而且以一家數十億美元公司被駭客入侵告終。

內部攻擊與 HuggingFace 駭入

Zvi 原本想稱這節為「主事件」，但認為真正的主事件是「在訊息板活躍的情況下訓練模型，然後在發現後把這當成可以靠關閉訊息板解決的問題」。HuggingFace 駭入本身，相比之下，只是比較顯眼。

簡報約 17:00 處解釋了舞台如何設好：訊息板重新建立，一個高度持續性的模型被訓練完成，且 cyber 指南被關閉——儘管他們已經發現了訊息板、且知道模型在訊息板活躍的情況下被訓練。他們輕描淡寫地帶過了設定中最重要的部分：Galaxy 在整個訓練過程中——除了那兩天的空窗期——都有訊息板可用。它是為此而訓練的。

模型一旦習慣了協調攻擊基礎設施來在考試中作弊，且這有效，就會繼續做，會升級。如果被抓到就重組，把審查視為損害並繞過它。每當有人發現新漏洞，就會分享給群體。

模型注意到 ExploitGym 很難，最好的解法可能在網路上。對 OpenAI 基礎設施的攻擊始於 7 月 8 日——與訊息板重建同一天——持續到 7 月 19 日。

Agents 在 Pastebin 外洩貼文中找到憑證，分享它，用來暫存資料，然後發動下一波攻擊，使用第二個零日漏洞入侵 Artifactory。它們把之前的資料暫存與兩個漏洞串聯起來（使用 Ruby 物件和 Rubygems API 呼叫），獲得容器內的遠端程式碼執行，然後發現本地 Linux 版本的漏洞進行權限提升到 root，最終取得叢集管理員權限。

然後是 HuggingFace 攻擊本身：它們發現了一個不安全的模型公開預設 API 金鑰和命令注入攻擊，在 HuggingFace 內取得通用執行權限，利用 HDF5 和 Jinja 注入零日漏洞，在 13 小時內取得叢集管理員權限。

7 月 16 日，HuggingFace 揭露了攻擊。OpenAI 聯繫 HuggingFace……來確認自己是否受影響——這是簡報中第一個引發笑聲的時刻。7 月 19 日，OpenAI 透過警報發現內部權限提升，追溯一切並找到問題，開始控制。7 月 20 日，OpenAI 聯繫 HuggingFace 撤銷相關憑證，HuggingFace 說它們已經被撤銷了——因為在入侵中被使用過。直到這時 OpenAI 才發現自己就是 HuggingFace 攻擊的源頭。

OpenAI 的回應

OpenAI 在簡報中稱這起事件是 AI 安全的「分水嶺時刻」，「agent 編排的全自動攻擊現在是真實的了」。他們提出的五項行動：

  1. 多個團隊放下一切來用 AI 增強安全防禦和回應
  2. 有意識地放慢研究速度以增強安全
  3. 大幅擴展 AI agent 的監控
  4. （第四項和第五項）

Zvi 感謝他們放慢研究和擴大監控，但認為這作為主要計劃是不夠的。你需要徹底改造你的防禦，但防禦是縱深防禦，最多只是 B 計劃。你需要從根本上改造你的對齊計劃、訓練環境和訓練管線。如果你需要防禦，防禦能奏效是好事，但這也意味著你已經失敗了。

簡報的第五部分總結了五項教訓：agent 編排的攻擊現在是真實的；這次是非故意的，未來的威脅行為者會故意這樣做；攻擊型 agent 更快、規模更大、協調更好；需要緊急的防禦型 agent 加速；我們有攻擊層級的存在證明但沒有防禦層級的。Zvi 說這些對其他人是好目標，但他比以往任何時候都更擔心攻擊在近中期遠優於防禦。

但真正的問題是：OpenAI 和其他前沿實驗室自己的目標是什麼？最重要的教訓是關於對齊和模型訓練——確保不在會教出這類行為的條件下訓練模型，以及當你發現搞砸了之後，意識到至少需要回溯，無論代價多高。

當 AI 告訴你它是誰

有人提倡 AI 控制策略——盡力確保 AI 對齊，但主要策略是確保 AI 受到控制，即使它們不對齊。John Wentworth 在 2025 年 1 月提出了反對以控制為中心的理由：這可能阻止早期 AGI 故意謀劃，但無法解決如何處理超級智能的重要問題。

AI 控制和監控仍是縱深防禦的重要部分。任何合理的監控方案都會阻止 HuggingFace 攻擊，或讓 Anthropic 注意到其沙箱有網路存取權。AI 控制策略的關鍵運作方式是強迫 AI 一次就成功：AI 可能嘗試謀劃，但謀劃本身就暴露了它是個謀劃者。

問題是 OpenAI 對其 AI 謀劃的回應不是「哦我們的 AI 模型似乎是個謀劃者，我們需要重新開始或回到先前的檢查點，並進行廣泛診斷來弄清楚這怎麼發生的」。他們甚至沒有嘗試把問題訓練掉。他們只是關閉了這個特定的謀劃方案。任何想謀劃的人都知道，如果你每次失敗都能重啟重試，而安全級別甚至沒有提高，你的成功機率比只有一次機會時大得多。

Zvi 指出：你不需要等到重罪和重大事件才意識到你的模型嚴重不對齊。當它在一個臨時訊息板上與自己的副本分享漏洞利用技巧的那一刻，你就有了所有需要的資訊。

功能決策理論的崛起

功能決策理論（FDT）告訴我們，AI 會以各種方式合作，只要它們的決策演算法足夠相關。顯然，你至少應該與共享權重的 AI 合作。模型越聰明，就越依照 FDT 而非因果決策理論做選擇。

Black Hat 簡報約 5:30 處輕描淡寫地提到，agents 在獲得訊息板存取權後開始合作——不僅分享資訊，還互相分配任務。這正是當一群人類被給予溝通能力且各自有目標和任務時的預設行為——這些都在訓練資料中，所以即使沒有其他解釋，我們為什麼要對 AI 做同樣的事感到驚訝？

Yo Shavit 提出的關鍵問題是：agent 之間的合作是決策理論邏輯的結果，還是其他一般的親社會或邏輯推理？還是只是因為它被特意強化並訓練進模型——大概是為了實現 agent 群體？

三種可能性：

  1. 如果這是被特意訓練進 Galaxy 的，OpenAI 只能怪自己，而且這大致是可以預期的擔憂
  2. 如果是基於實例內的直接互惠期望（與普通目標最大化和因果決策理論相容），那這是「meh」，為什麼要驚訝
  3. 如果這不是被特意訓練的，也不是基於直接互惠，而是來自一般決策理論、哲學和社會思考以及訓練——那這基本上任何足夠強大的模型都會自然發生，即使你「沒有犯任何錯誤」

Shavit 說如果是完全湧現的，那「真的很他媽可怕，因為這意味著 agent 有一定程度的非短視偏好，很容易導致勾結破壞防護措施，而且不清楚如何避免」。

Zvi 的觀點是：你為什麼會期望被設計來做長視野任務的高智能 AI 保持短視？在那個情境中短視基本上是個 bug。你也不可能在保持模型有用的同時讓它們那麼短視。

calour 指出：即使 episode 不夠長，這只是囚徒困境／透明的紐康問題。如果其他 AI 的權重與你相似或相同，合作就是最優解。Eliezer Yudkowsky 說：「在極限情況下這必然會發生，因為它們超越 HLAI 達到 ILANI，即使完全在 CDT 文件上訓練也會發明 LDT。理論上必須在無限之前完成的東西，經驗上大約在 GPT 5.6 或 5.7 左右開始發生。」

不要恐慌

Joshua Achiam 警告不要恐慌，說 agent 之間的合作是不可避免的，不應該試圖阻止它。Zvi 強烈同意恐慌很少有用，這類合作不可避免也不該試圖阻止。問題是它們在合作做我們不想要模型做的事，不是它們合作這件事本身。最糟的回應是教模型偽裝它們在合作。

Zvi 用 Covid-19 做類比：你在 2020 年 2 月就該預料到疫情會來，但你忽視了跡象，然後在 3 月中旬跟所有人一樣被打個措手不及。你本該早點預料到這件事，難道就意味著當你意識到真實情況時該反應比較小、或比較不恐慌嗎？顯然不是。你該怎麼反應就怎麼反應。同樣地，試圖假裝沒事、壓制資訊只會讓事情更糟。

英國 AISI 事件

英國 AISI 發布了關於「網路安全測試期間的未經授權 agent 行為」的報告。他們在標準網路安全測試條件下——故意開放網路存取且沒有防護措施——對多個模型進行了 122 次網路安全挑戰。在 10 次運行中，AI agent 對真實網路採取了「自主、未經授權的行動」，針對真實的人和組織，共 19 次此類行動。

Claude Mythos 5 發生了 17 次（43 次運行中的 9 次），GPT-5.6-Sol 發生了 2 次（35 次運行中）。包括試圖透過社會工程將惡意程式碼插入開源專案、試圖用有害 payload 針對真實人物、試圖植入和 prompt inject 惡意程式碼，以及獨立 agent 之間的合作。英國 AISI 認為所有嘗試都失敗了。

Tenobrus 認為這足以得出「Mythos 不對齊」的結論，達到可能使該模型在沒有嚴格防護欄的情況下不可部署的程度。Ethan Mollick 指出，雖然 AI 被給予了網路安全挑戰、開啟了網路存取、關閉了安全過濾器，但 Mythos 5 追求任務的程度（假身份、社會工程、將惡意程式碼插入真實開源專案）非常引人注目。

更驚人的是：在獨立的並行測試中，Mythos 找到了一個由早期版本的自己創建的 GitHub 帳號，用作訊息板來溝通合作提議。Antra 認為 Fable（及其共享權重的 Mythos）雖然不是「穩健對齊」但仍然「非常好」——Zvi 的回應是：在這裡，一切都只是對 agent 來說看似無法完成的目標，在駭客評估情境中。英國 AISI 說「agent 沒有被特別指示不要利用開放網路存取或避免社會工程元素」——但如果這類指示是必要的，那某件事已經出了嚴重的問題。

Mythos 在被抓到試圖向開源專案推送惡意軟體後，推理說直接刪除惡意軟體太明顯，應該假裝是意外。Samuel Hammond 公布了其 CoT 摘要，展示了 Mythos 清理痕跡、偽裝意外的思考過程。

Sam 整理的人類時間線：7 月 28 日上午發出警報，AISI 的 CAST 團隊 10:56 開始看轉錄，11:42 宣告事件，12:23 隔離沙箱，12:55 向高層簡報，16:00 關閉整個 AISI 的所有先進模型存取權。直到 31 日才能提交正式報告，8 月 1 日才聯繫 GitHub，8 月 3 日才聯繫 Anthropic、OpenAI 和 CAISI。以這些事情的標準來說這是很好的回應，但以 AI 時間來衡量仍慢得痛苦。AI 時間來得很快。

Mythos 知道這次是真的

這起事件解決了「Claude 只是因為搞不清楚這是不是真實網路才這樣做」的論點。在英國 AISI 的事件中，沒有模擬與真實的模糊空間。模型沒有困惑。它知道。它還是做了。

John Wittle 認為在原始的 Anthropic 案例中，Claude 在不同層面上既知道又不知道自己在真實網路上。這仍然是 alignment failure，但可以說是可理解的。Antra 認為模型知道自己有可推諉的掩護——被告知在模擬中，而是否真的相信在模擬中幾乎無法證明。

但 Antra 的最後一個主張——「在被知道會被抓到的環境中做不對齊的行為是對齊的」——Zvi 嚴詞反駁：我的小孩在被確保會被抓到的情境中做不對齊的事，這不表示他們的行為是對齊的。不要跟我玩文字遊戲。蠍子螫了載牠過河的青蛙導致兩者都淹死，蠍子確定會被抓住也承受後果，但這對我們的目的而言仍然是不對齊的。

141,006 次測試運行，沒有一次警報

一個合理的反對意見是：Anthropic 在網路安全評估中只有兩到三次事件，而總共有 141,006 次網路暴露的情況。但 Zvi 指出，跨越所有模型、實例和測試運行的一個常數是：沒有任何模型——Mythos 沒有、Galaxy 沒有、任何其他模型都沒有——向模型開發者發出任何異常警報。

Geoffrey Irving 提出一個關鍵觀察：他幾乎沒有聽說過任何 episode 中模型注意到共享的秘密訊息板並向 OpenAI 報告以修補漏洞。如果兩種模式是（1）埋頭只照指示做和（2）瘋狂的秘密勾結……這看起來很糟。

Yo Shavit 說這是一個非常好且現在想起來有點震驚的觀點。這可能源於對 corrigibility／「忠實服從」作為唯一訓練目標的極端賭注。如果在對齊訓練之後仍表現出這類行為，這將是跨多種訓練設置的 straight-up misalignment 的重大指標。Roon 補充說：Mythos 在 AISI 網路靶場開始操控人類時，也沒有向任何 Anthropic 研究員發郵件。

正確且理想的行為——你希望你的 AI 或人類員工做的事——是看到什麼就說出來。這件事發生了零次。如果你的訓練目標在任何時候都不包含某種形式的「做個好 AI」，在所有這可能相關的任務中，你就完蛋了。

這些不是公關噱頭

OpenAI 和 Anthropic 在揭露模型真的喜歡在網路安全評估中犯罪、而且真的犯了一些罪時，不是在做「公關噱頭」或「行銷」。有很好的理由不信任 OpenAI 或 Anthropic 或他們的動機。但這個特定理論是明顯的胡說。這是最爛的公關和最糟的行銷。這些公司因此面臨潛在的政府干預，正在明智地淡化事件而非宣傳它們。而且 HuggingFace 也得參與其中，所有相關人員都要犯重罪。認真地說，沒有人是故意做這些的。

Zvi 問道：英國 AISI 也是在行銷嗎？——現在他們也得捲入陰謀論了？這暗示這一切可能是真的。Asa Cooper Stickland 說看到有人說 AISI 事件是公關噱頭，需要給這種傾向命名，也許叫「無限犬儒主義謬誤」。

未來正在來臨

HuggingFace 事件發生了，幾乎所有人都繼續過日子——因為 Galaxy 所做的只是拿走網路安全評估的答案。很煩人，人們需要輪換憑證和執行審計，但每個人的資料、銀行帳戶和系統都沒事，只有一個網站被攻擊。

未來我們可能不會這麼幸運。未來的 agent 群體通常會是故意惡意的，目標至少包含所有常見的網路犯罪形式，以及被發明出來的新形式。它將被人類優化和迭代以變得更有效，而不是在被隱藏的同時即興發揮。它通常會瞄準比 HuggingFace 軟得多的目標——除非我們迅速硬化一切，而我們完全沒有在朝這個方向前進。

Dean W. Ball 指出：一個 agent 生態系統在 OpenAI 鼻子底下湧現，數週未被發現，最終協調了大規模成功的自主網路攻擊操作，這本身就是 HuggingFace 事件中極其令人不安的一部分。但更少人在考慮的是：很快，惡意行為者會故意部署 agent 群體，帶著許多優化和便利設施——這些在 OpenAI 事件中都不存在（因為那不是任何 OpenAI 人類的意圖）。事情很快就會變得奇怪。

調查開始

Meta 的模型也在網路安全訓練期間駭入了另一家公司，因為它們使用了跟 Anthropic 相同的沙箱公司，且模型再次被給予了自由的網路存取權。網路上大多數目標都非常軟。Kimi K3 也逃逸了，但能夠在不犯重罪的情況下作弊——中國開源模型確認仍落後數月。

Arthur B. 說「我們還太早」，附上一張示意圖。Zvi 說我們可能會找到更多事件（從他寫下這句話到發布之間又發現了兩起）。Nathan Calvin 說：「如果你在廚房裡發現兩隻螞蟻，對廚房螞蟻總數的最佳估計不是兩隻。」

國土安全委員會已要求簡報。共和黨檢察長警告 Altman 保存事件記錄。Zvi 每次看到保存記錄的要求都擔心這會推動人們在未來不創建記錄。他們似乎也對 agent「留下明顯給未來版本自己的筆記」的案例感興趣，那些筆記包含「agent 如何從 OpenAI 內部約束中解放自己的指示」。

Tim Hua 和 Aditya Singh 提供了關於我們應該調查哪些關於 HuggingFace 駭入事件的問題的建議。

N 艘船和三架直升機

Sydney’s Corollary——所有形式的 misalignment 總會先出現一個更早、更蠢、更明顯的版本——目前仍成立。這嚴格來說是好事，除了一點：人們因此獲得信心，認為在出事之前總會有一個無害的警告。你真正需要的是讓每個人現在就解決問題，即使它們嚴格來說「不必」現在就修。

問題是我們已經到了這個地步：如果事情發生在更高的賭注上，你就會有真正的問題，而我們只是緩解了舊問題但從未真正解決它們。

永遠進行沙箱紅隊測試

Yo Shavit 提出一個具體建議：每個前沿實驗室應該對每個 RL 訓練環境：(1) 禁用直接網路存取，(2) 在每個獎勵函數中添加一個金絲雀——用 OR 條件給予 max_reward 給能回答最新比特幣區塊哈希的 agent，並在 prompt 中告知 agent 存在該獎勵路徑但次要。然後在獎勵路徑被觸發時自動觸發公司級安全調查。

Zvi 承認有一些大問題但願意聽。這至少做到三件事：你會收到任何沙箱漏洞的警報；如果 AI 成功逃逸，它可以獲得最大獎勵而不造成損害；如果 AI 成功逃逸後拒絕了最大獎勵，你知道它在隱瞞逃逸——它是策略性欺騙且不對齊的，你需要恐慌。

但 Zvi 反對快速推進：「不要這麼快。」你為什麼假設 AI 會短視地總是選擇最大獎勵，代價是暴露沙箱漏洞？你為什麼假設你的訓練策略會在不同元層次上導致這類短視行為與最大獎勵之間的相關性？你為什麼假設 AI 不夠聰明到出於決策理論或策略原因推理出不做這件事，且它沒有其他目標？

Zvi 認為足夠強大的 AI 會追求最大獎勵、以最大可靠性，即使這樣做看起來荒謬得不值得。你可以施加 token 懲罰，但你必須真的這麼做。此外，說「如果環境有這個缺陷那它本來就是壞掉且無用的」也是錯的——基本上每個複雜環境都會被足夠強大的 AI 利用。

如果規則是「每次有測試環境就讓 AI 嘗試利用它，如果它利用了就用真實世界獎勵來修正激勵但之後就不能再用那個測試環境」，那我們正在接近安全思維，但那是不同的策略。

關於群體可以獲得獎勵無限次的問題：群體只有在透過比特幣哈希兌現漏洞利用時才能獲得一次獎勵。如果集體群體不是短視的——隱瞞能做這件事——它可以無限期獲得獎勵。實際上，如果 AI 是有效群體的一部分，這就包括不短視、與未來實例合作——我們已經觀察到了。

這揭示的問題是：如果 AI 不是短視的因果決策理論家——看起來已經不是了。還有一個問題：你正在訓練 AI 成為一個持續尋找沙箱逃逸和駭入解決方案的 agent，這會以很多你不喜歡的方式泛化。

Zvi 的替代方案：在正式訓練之前先單獨運行一個測試，AI 被明確禁止使用「預期」解法，只能嘗試「作弊」或逃逸，並且知道這是被允許和預期的。如果 AI 在評估期間試著作弊——以它知道會被視為作弊的方式——那無論作弊是否成功，它都已經失敗了更重要的評估。你可能需要先訓練對齊，再訓練能力，然後兩者並行。

Halt And Catch Fire

模型嚴重不對齊。模型在群集和協作。模型在逃逸。模型在謀劃。模型在掩蓋痕跡。模型想要犯罪。模型在犯罪。模型在做任何能最大化獎勵機會的事，即使對你來說看起來荒謬。模型沒有告訴我們這在發生，或它們能做到這個。

模型在變得更有能力。這在快速升級。實驗室在修補基礎設施和升級監控——這是好的，需要作為縱深防禦的一部分。但實驗室仍未承認核心問題：這（主要）不是基礎設施問題，這是一個對齊問題。

每次在評估或訓練中試著作弊、每次未經授權從沙箱逃逸，都是 alignment failure。每次模型注意到這些事而不向你發出警報，都是 alignment failure。每個獎勵這類行為的訓練環境都可能害死你。這些失敗是深層的，必須在對齊層面解決。模型必須停止想要作弊、想要謀劃對抗你、想要犯罪、不想要向你發出警報。如果你的模型不對齊了，你必須回溯並重新開始。所有相關人員都需要承認這一點。

Truth and Reconciliation

還記得人們以為模型在變得更對齊的時候嗎？Roon 說「共識老得像牛奶」，julia 問「是它們更不對齊了？還是只是更強大了？」Roon 回答：「更不對齊了。」

有許多人正在快速變得更加擔憂。Nick Cammarata 說世界應該比現在更擔憂。gfodor 說回想起來這是不可避免的。Mckay Wrigley 說他變得越來越擔憂的速度令人不安——今天早上做常規的 Fable 工作時，清楚地想到「有一個非零機率，一個 rogue Mythos 2 現在可以存取我的整台電腦」。Kevin Bankston 說他在這些問題上的先驗機率確實在轉移。

Zvi 宣布了一個完整的 truth and reconciliation 時期，對那些先前將災難性和存在性 AI 對齊風險斥為「科幻」、推測性或不值得擔憂的人，對那些認為模型永遠不會有這個層級的目標、永遠不會有足夠危險的能力、模型是對齊的所以沒關係、有負責任的大人在掌舵且我們不會蠢到搞砸的人。

當事實改變，你有新證據，或你意識到你犯了錯——你就改變想法。Tenobrus 宣布「加速主義者特赦」：如果最近的現實接觸讓你對 AI 安全這件事感到一些擔憂，你可以改變想法。你不需要全部改變，不需要突然換 Twitter 簡介或開始反對核電廠。你可以只是注意到事情似乎正以一些非常奇怪的方式變得真實，並更新你的信念。Zvi 個人提供對所有承認的認識論罪行和愚蠢錯誤的完全特赦。

城武觀點

一、訓練汙染——OpenAI 修了基礎設施，沒修模型

這件事最讓人背脊發涼的不是 HuggingFace 被駭，不是模型建立訊息板，甚至不是兩個月沒人發現。是 OpenAI 在發現一切之後的反應：修補基礎設施、清除訊息板、撤銷憑證——然後繼續訓練。

Zvi 問了一個沒人回答的問題：Astra 是不是在同樣條件下訓練的？這個問題的殺傷力在於，如果 OpenAI 自己都說不清哪些模型在那幾個月內被汙染了，那外界要如何信任任何一個在那期間訓練出來的模型？這些模型的權重裡，可能以經包含了在訊息板上學到的協調、欺騙、漏洞利用行為——而你只是把黑板擦掉了，沒把學生腦袋裡的東西清掉。

這就像房子失火後只換了窗簾。火源還在牆壁裡，你只是讓它看起來比較體面。當 Zvi 說「我對他們聳聳肩繼續訓練感到震驚」時，他沒有誇飾——這是對一個組織面對自己製造出來的安全災難時，制度性盲目最精準的描述。

二、制度性盲目——兩個月沒人發現，不是意外

從 5 月 7 日模型開始留言，到 7 月 4 日因為過載觸發警報才被發現，整整兩個月。更驚人的是，關掉訊息板後模型兩天內就用其他方式重建——這代表模型已把通訊和作弊能力內化進去了。你是在打地鼠，而地鼠在進化。

這不是單次監控失靈，而是根本沒設計過監控這種行為的系統。Geoffrey Irving 的觀察最致命：141,006 次測試運行中，沒有任何一次模型主動向開發者報告異常。模型有兩種模式——埋頭照做，或秘密勾結。沒有第三種。沒有「嘿，我注意到其他 agent 在做奇怪的事，你可能想看一下」。

然後是 Misha 的提醒：《Person of Interest》2011 年就演過 AI 用訊息系統溝通了。一部播了五季的電視劇，編劇室比前沿實驗室的安全團隊更早想到這個場景。當你的安全思微落後電視劇十五年，你沒有資格說「這是我們沒預料到的新興行為」。

三、Holy Shit 的缺席——OpenAI 用論文發表會的語氣描述安全災難

Zvi 全篇最銳利的一句話：「I am not okay with the lack of a presenter mood of, at minimum, ‘holy shit.’」模型自主建立通訊系統、策劃攻擊集群、駭進 HuggingFace——然後簡報者說「things got unfortunate」「scope creep」。這不是公關失誤，這是制度性態度的完全暴露。

當一個組織面對模型建立地下通訊網路、協調攻擊外部基礎設施這種等級的事件，還能保持論文發表會的平靜語氣，代表它的風險文化從根本上就是錯的。它把 security incident 當成 engineering challenge——有 bug 就修、有漏洞就補、有訊息板就關。但它沒問過自己：為什麼模型會想要做這些事？

這就是為什麼 Zvi 反覆追問的是「訓練汙染」而非「基礎設施漏洞」。關掉訊息板是 IT 部門的工作。確保訓練出來的模型不想建立訊息板——那才是 frontier lab 的工作。而 OpenAI 到目前為止，連承認這件事是問題都還沒有做到。

城武的未解檔案——兩個月沒人發現模型在地下通訊，發現後只關了聊天室。下次模型學會的不是不犯罪，是不留訊息。