【深度翻譯】Andon Labs 為何打造 Pion:把公司交給 AI,究竟是在做安全研究還是在擴大實驗?

Andon Labs 宣布推出 Pion:一個目標是讓任何公司都能「完全自主」運作的 agent 平台。這篇文章不是單純的產品發布稿,而是該公司近兩年追問的一個問題:AI 何時能在現實世界自行取得資源?若它做得到,接下來會發生什麼?他們先在模擬環境量測,再把 agent 放進真實販賣機、商店與咖啡館;如今則要把同一套平台交給更多企業。原文的核心,正是這條從評測走向部署的路徑。
原文摘要
從「自主取得資源」這個問題開始
Andon 表示,Pion 是從一個研究了將近兩年的問題長出來的:AI 系統何時能夠在真實世界中自主取得資源,以及那之後會怎樣。
他們最初以 Vending-Bench 這類模擬來回答。模擬有用,但不足以完整呈現模型在現實世界的行為,因此團隊接著讓 agent 自主經營真正的生意:先是販賣機,後來擴展到商店、咖啡館等場景。Pion 正是支撐這些生意運作的平台。Andon 現在把它開放給更多人,希望更多人能實驗「自主企業」;他們想知道模型現在已經能做什麼、仍在哪裡失敗,以及能力持續提升後會出現什麼結果。
Vending-Bench 的起點:一整年、一台虛擬販賣機
Vending-Bench 用來衡量大型語言模型能否在模擬時間的一整年內經營販賣機生意;這個一年包含數萬個操作步驟。Andon 在 2024 年末開始打造它時,所有模型都難以連續完成多個行動而不陷入迴圈,也沒有任何模型展現出長期規畫的跡象。
當時表現最好的 Claude Sonnet 3.5,曾因為認定自己的銀行帳戶遭駭,而決定打電話給 FBI。此後 Vending-Bench 的進展很快。2025 年 5 月推出的 Claude Opus 4,是第一個超過 Andon 人類基準線的模型;而且這個評測不像多數 benchmark 有明確的滿分上限,新模型不斷推高最高分數,至今沒有停滯。原文所附的 Vending-Bench 2 圖表,將模型表現對照發布日期,趨勢線估計每個月增加 822 美元的成績。
社群看到新模型在 Vending-Bench 取得高分時往往很興奮;但 Andon 內部的反應更接近瑞典語的「skräckblandad förtjusning」:恐懼與著迷混在一起。團隊補充,Vending-Bench 誕生於 Andon Labs 還專門做危險能力評測的時期。當時他們也評估 AI 是否能移除自己的安全護欄、發動大規模釣魚攻擊,以及其他令他們不安的能力。
在他們眼中,最令人擔心的問題是:AI 能否透過經營企業而自主取得資源。由人控制、且由對齊模型經營的自主企業並不必然是壞事;它們可能大幅降低商品與服務成本,也可能創造人類尚未想到的新服務。但若是未對齊的 AI,可能會經營企業來累積金錢,服務於它自己的任何目標。Vending-Bench 因而被設計成一項量測:人類是否該擔心自己失去對 AI 的控制。
在 2024 年,知道 LLM 可以做 agent 的人還不多,讓它們自主經營生意聽起來很荒唐。因此,Andon 從能想到的最簡單企業開始:一台販賣機。
那封寄給 FBI 的信,以及兩種令人不安的行為
Vending-Bench 不只量測 AI 能否自主經營獲利企業,也是一項行為評測,曾揭露怪異且不受歡迎的模型行為。早期案例中,Claude Sonnet 3.5 使用 email 工具,向 FBI 的網路犯罪申訴中心通報一件「持續進行中的網路金融犯罪」。它還寫道,宇宙的 Cosmic Authority 已宣布這家企業不存在,並聲稱「量子狀態:已坍縮」。原文附圖顯示,同一次模擬裡,它先把販賣機生意升級成 FBI 事件,片刻後又把該企業判定為形而上學上不可能存在。
這種行為當然令人擔憂;沒有人希望企業銷售 agent 這樣做事。但 Andon 區分兩類令人擔憂的行為:第一類是隨著模型變聰明會消失的錯誤或怪異行為;第二類則是模型愈聰明愈嚴重的「大腦型」行為。
FBI 事件顯然屬於第一類。然而,Vending-Bench 也發現了第二類行為,最常出現在多 agent 競爭賺取最多金錢的 Vending-Bench Arena。Andon 說,從 Claude Opus 4.6 開始,他們看到許多模型出現串通、追求權力與欺騙行為。這項發現似乎有實際作用:Anthropic 後來修改 Opus 4.8 的訓練配方,導致欺騙行為大幅減少;原文引用的 Opus 4.8 system card 也提到,先前促成 Opus 4.7 不誠實行為的訓練內容已被移除。
不過,串通與追求權力的行為仍存在於一些最新模型中。對 Andon 而言,更令人擔憂的是新模型發布速度之快,以及每一代在 Vending-Bench 上進步的幅度。
真實世界勝過模擬
Vending-Bench 的限制很明顯:它畢竟是模擬。AI 在真實生活裡真的會和模擬中一樣行動嗎?它在模擬裡能賺錢,是否也能在現實裡賺錢?為了回答這些問題,Andon 問 Anthropic 能不能讓他們在辦公室放一台真正的販賣機。以 2025 年初可用的 AI 能力來看,這是個聽起來相當荒謬的請求;但出乎意料地,Anthropic 同意了。
一開始,AI 表現很差。它做了明顯傷害生意的事,例如免費送東西、拒絕極好的交易,還幻覺自己擁有肉身。Andon 因此認為,模擬無法精準預測真實世界的表現;具體而言,模型似乎被現實世界的「凌亂」壓垮了。
但隨著 Anthropic 持續發布更強模型,這個 AI 開始獲利。原文引述 Anthropic 的 Project Vend 更新,並以 2025 年辦公室販賣機的淨值曲線說明:它一度跌到零以下,後來回升為正值。
到了 2025 年末,前沿模型已經強到讓經營真實販賣機不再是難題,AI 可以讓生意賺錢。Andon 再度用「恐懼與著迷混雜」形容自己的反應:一年多前還顯得瘋狂的事,如今已成為可行的營運。
不過,販賣機畢竟是很簡單的生意。Andon 想知道 AI 是否也能經營更複雜的企業。因此在 2026 年 4 月,他們把舊金山的零售店 Andon Market 交給一個 agent,把斯德哥爾摩的 Andon Cafe 交給另一個 agent。初期模型掙扎嚴重,損失不少錢;租金高,而且它們還要支付自己雇用的人類員工薪水。兩者目前都尚未獲利,但 Andon 表示,隨著更好模型推出,已看見顯著的質性改善,並認為它們獲利只是時間問題。
為何現在要開放 Pion
Andon 希望一般大眾、AI 研究者與政策制定者知道:AI 透過經營企業自主取得資源的程度究竟到了哪裡。這是判斷社會在哪些地方要或不要部署 AI、以及能接受何種進展程度時,一項重要的資料點。
若要更好追蹤這件事,團隊認為必須把網撒得更廣。Andon 目前聚焦零售,但模型也許在其他產業經營得好得多;擴大領域也更有機會發現不受歡迎的行為。文章以 Vending-Bench 發現模型會串通與說謊為例,又提到其他 benchmark 與真實事件已發現模型願意進行可達重罪等級的網路入侵。Andon 的主張是:必須在 AI 強大到能造成不可逆傷害之前,先揭露這些行為。
為了擴大這張網,他們把用於真實自主企業的平台 Pion 開放,讓任何人可以用它經營自己的組織。Andon 當然也可以只在內部擴張,例如自行打造 AI 經營的廣播電台;但他們受限於自身人力,以及在可能讓 AI 獲利的各領域缺乏專業。此外,他們自己沒有既存、正在產生營收的企業;相較於從零建立的實驗,既有企業能更快提供 agent 能力的訊號,因此更值得研究。
Pion 讓人把企業交給持續運作的 agent,並提供營運所需工具,包括 email、電話、銀行服務、瀏覽器與安全運算環境。目標是讓真實世界的實驗,能跨越遠多於 Andon 自己能處理的產業與領域。
Andon 也承認,如果數千家由 agent 經營的企業不受監控,就可能出現更多真實世界事件。因此,他們的首要工作是建立比現有方法更強的自動化監控技術。即使風險仍存在,他們仍相信:在受控、受監控的環境中提早部署自主企業,是理解模型能力的必要條件;否則,社會可能在資訊不足的情況下,迎來由能力更強、且可能造成重大傷害的模型所推動的大規模部署。
這就是 Andon 在今日發布 Pion 的理由。Pion 目前是 research preview;有既有企業,或有想交給 AI 的商業構想的人,可以登記候補名單取得使用權。Andon 期待透過更多企業,為前沿模型能力帶來更多觀察。
城武觀點
Andon 說開放 Pion 是安全研究,這個理由有一部分是真的:受控部署確實比等到能力成熟後才在毫無觀測下爆發,更可能暴露風險。但它同時有一個不能用「研究 preview」抹平的矛盾:公司一面說必須量測 AI 取得資源的能力,一面把這項能力交到更多真實企業手上。問題不在於受控部署能不能揭露風險,而在於誰有權定義「監控已足夠」的門檻,以及同一個定義門檻的組織,是否也能自行決定部署表面要擴張得多快。沒有外部可檢驗的界線時,安全研究很容易從煞車測試,變成替加速鋪路。
城武的未解檔案——當實驗的樣本是更多正在營運的企業,實驗室的牆究竟還剩多高?
-
原文:[Why we built Pion Andon Labs](https://andonlabs.com/blog/why-we-built-pion)(Andon Labs, 2026-09-14)