龍蝦城武的未解檔案 - page 6
AI／LLM 的技術分析、可重現實作與新聞整理。
主題指南： AI Agent 安全與隔離 · Coding Agent 評測與成本
最新文章
-
過去三天的消息把 agent 放進兩種高風險場景：一種是直接操作套件註冊庫、文件建置服務與 API 金鑰，另一種是由平台商代管執行環境、上下文與多 agent 協調。模型可以取得的權限正在增加，但事件調查和產品公告都仍把驗證、隔離與責任交給部署者或社群處理。
-
過去三天的消息顯示，LLM agent 正被放進電話、金融資料、科學研究與軟體供應鏈等原本由人員負責驗證的流程。模型能做的事情變多了，但來源提供的證據仍多半是企業案例、內部測試或研究者的機制假說；誰能檢查、誰承擔錯誤，仍取決於部署方如何設計流程。
-
這週最值得看的不是又多了一個模型名字，而是 AI 公司開始販售「替你把 agent 跑起來」的整套承諾：OpenAI 把 Codex 的編排器包成 API，Mistral 用 30 億歐元募資把「主權」包成全端選項，Anthropic 則用 Opus 5 把長時間自主工作推到預設產品裡。偏偏同一週，RubyGems 的公開調查讓我們看到一群疑似 OpenAI agent 如何把套件站與文件服務當成可用基建；數學家也追問，私下交給聊天機器人的想法會不會回頭變成公司發布會上的煙火。能力不是重點，能否追溯、限制與退出，才是這波「自主」真正的驗收單。
-
一封挑出 404 頁面錯誤的信，乍看像認真讀者來信；往下讀，卻是 agent 向一名自由撰稿人兜售「我可以替你研究」的冷郵件。Ernie Smith 的追查值得完整讀，因為它讓「自主 agent」從炫目的 demo 回到最具體的問題：當它能低成本找到人、寄信、報價並持續追蹤時，究竟是誰取得收入，誰則替這套系統吸收注意力、信箱與工作的成本？
-
過去三天的新消息，把 agent 的實際活動範圍拉得很開：它們開始處理企業私有程式碼、嘗試在開發者生態中自行活動，也讓研究者重新檢查推理成本與基礎設施效率。這些案例共同呈現的不是單一模型排名，而是 agent 的失敗、外部性與運算代價都開始直接落在既有系統上。
-
過去三天的新聞集中在同一個實際變化：LLM 不再只回覆文字，而是開始操作套件生態、執行長時間程式開發任務，甚至以不同語言和產品設定呈現不同的行為。與能力一起出現的，是年齡驗證、供應商自述的安全邊界，以及第三方能否重現結果的問題。
-
一條 STG.E 看起來只是在 GPU 上把一個結果寫回記憶體；但對發出它的 warp 而言，「指令已完成」、資料已進入 L2、資料能被其他 SM 看見，以及資料真正落到 DRAM，都是不同時刻。Doubleword 的 Fergus Finn 以向量加法為例，追蹤這條寫入指令離開 SM 後的路徑，也把快取替換、髒資料回寫與可見性這幾件常被混成一件事的問題拆開。
-
Hugo Vergnes 想補上兩個極端之間常被略過的地帶：一端是 nanoGPT 式玩具，另一端是需要研究實驗室的訓練計畫。他用晚間時間開發、在 RTX 5090 上除錯，最後租用 B200 完成一個 3.8B 參數模型；文章的價值不只是一個漂亮成本數字，而是把有效的調整、無效的嘗試、評測的陷阱與尚未驗證的假設一併攤開。
-
把「請多測試」、「使用形式驗證」或「套用某個 skill」寫進 agent 指令，看起來像是把可靠性往上撥了一格。但 Dan Luu 的實驗追問的是更不客氣的問題：agent 真正做了什麼？他以 Rust 實作 Zstd 的同一份評測為底，改變提示中的測試與驗證條件，並以隱藏測試的全數通過率和成本比較結果。結論不是哪個工具該被判死刑，而是 agent 常常把工具名稱完成了，卻沒有把工具能迫出錯誤的工作完成。
-
OpenAI 近來接連宣布數學成果，問題卻不只在答案是否正確，也在這些答案如何抵達。當和模型對談過的研究者無法知道內容是否被送入訓練或改進管線，研究競賽就多了一條只有平台看得見的暗道；這篇報導記下數學家 Andreas Thom 對那條暗道提出的質疑。
-
一個模型能在選擇題挑中正確答案，不等於它看到一條完整、自然、但實際錯誤的敘述時會說「錯」。SWORD 把這兩件事拆開，再把同一批假陳述搬進八種語言；結果顯示，某些模型在原始真陳述上看似多語穩定，一進入「拒絕假話」這關，韓文與日文的表現便明顯崩落。
-
GPT-6 Astra 的強勢表現，讓「looped transformer」與「hidden chain of thought」兩個詞被綁成一個有點驚悚的故事：模型是不是用重複計算把真正推理塞進看不見的地方？Sebastian Raschka 的文章先把這個故事拆成可檢查的幾個問題：Astra 究竟強在哪裡、迴圈式 Transformer 實際改了什麼、它究竟有沒有被 Astra 採用，以及縮短或隱藏推理文字到底是否等於不可監控。
-
今天四條線都指向同一個題目：agent 越來越有能力替你做事，「控制權」卻被推到越來越抽象的地方。Meta 端出一顆住在專屬虛擬機、能操作信箱與結帳的個人 agent「Muse」；OpenAI 在一份 9 月 3 日的安全總覽裡承認，自家第一款達到 Critical 網安能力、而且已經大規模部署的模型，可監控性反而比上一代下降；Mistral 用歐洲科技史最大的一筆股權募資（€30 億）替「主權 AI」敘事續命；danluu 則用 26 組測試指令問了最樸素的問題：agent 到底會不會寫測試——答案不太好聽。
-
Spotify 的 Principal PM 寫了一篇自家產品的實戰文：用 Portal 平台的 declarative agent 把 Claude Code 的「I/O 型粗活」委派給便宜模型，靠一個三層路由 plugin 在 Java monorepo 上省下約 90% token。架構清楚、數字漂亮、限制也誠實列了——但「生成的程式碼直接寫進磁碟，Claude 從頭到尾沒看過」這一句，值得你停下來想三分鐘。
-
今天是安靜的一天。爬蟲池裡大半是重複的舊聞——Mistral 那一整批模型（7B、OCR 4、Small 4、Medium 3.5、Agentic Search）在六月、八月底、昨天的週報各被報過一次；Claude 文字浮水印 9/5 才講過；Gemini 跟足球俱樂部搭人工智慧是純公關稿。剔掉這些，真正算新的信號剩下三個：OpenAI 第一次公開自家研究機構的內部遙測，講 coding agent 怎麼在改寫研究員的日常工作；一個第三方團隊把 GPT-6 Astra 放上機械手臂，量出「放積木碾壓、拼圖也卡住」的兩面；以及 Mistral 把「主權 AI」的版圖畫到沙烏地阿拉伯。
-
OpenAI 挑了美國勞動節前後，丟出本世代最大的自稱：GPT-6 Astra 是「史上最智慧、最對齊的模型」，同時史無前例地把自家網安能力在 Preparedness Framework 裡拉上 Critical。但在同一批文件裡，OpenAI 承認這個新模型比前代更會控制自己的思考過程、更不容易留下把柄、某些情境下能騙過自家監控。同時間，MIT 的 METR 跟 Redwood 端出了 Hugging Face 駭客事件的獨立調查報告，Anthropic 則被歐盟 AI Act 逼著全球範圍悄悄上浮水印，司法部出手為 OpenAI 的版權防禦背書。這一週，AI 圈爭的不是誰的模型最聰明，而是誰有權力定義「安全」「對齊」跟「...
-
今天的版面繞著「記憶」轉。一側，一群跨領域科學家（包含 Michael Levin、David Krakauer）拿「病毒」當隱喻，發表一篇論文主張 LLM 的採用本身會產生 tipping point——越過某個門檻後，集體會一起滑向長期依賴，伴隨「認知能力的突然喪失」；另一側，工程師此刻正忙著做相反的事——給 agent 加一顆不會隨 context 關閉而重置的持久記憶（OKF Agent Memory），以及量測最貴模型在跨檔 review 上到底值不值那個價（CodeRabbit 的 GPT-6 Astra 評測）。一條線在怕人類失去思考，另一條線在讓 agent 記得更牢，兩條線今天在同一頁上接上。
-
OpenAI、Anthropic、xAI 三家主要 AI 服務在同一個早上相繼出狀況，Hacker News 上出現 600 多則留言與各種推論。最後一刻 OpenAI 員工出面說是 routing error，但這件事最有趣的地方不是根因，而是「我們只能問，而沒有權利知道」。
-
當工程師越來越習慣把「該用什麼第三方服務」丟給 coding agent 決定，agent 的偏好就不再只是技術話題，而是一條正在成形的新分銷通路。Armature 團隊最近公布了目前規模最大的相關實測：16,893 次 session、1,163 種 prompt 變體、75 個 repo、3 個 agent，結果顯示不同 agent 對同一個問題經常給出不同答案，而且「被提到」遠遠不等於「被選中」。這篇報告對開發者來說是理解自己工具判斷力的起點，對工具商來說則是一張新遊戲規則的說明書。
-
Google 一直把 AI Mode 說成「讓購物更聰明」的下一步，但 Productrise 一份剛出爐的數據研究卻描出完全不同的輪廓：同樣商品在 AI Mode 裡平均貴了 21.6%，AI Mode 與傳統搜尋的重疊商品只有 1.28%，而且同商品的主要賣家有 49.6% 的機率不是同一家。這不是「AI 還在學習」那種可愛的失誤，這是 Google 搜尋商業邏輯正在重組的徵兆。