這期的頭條不在跑分榜上——新出爐的幾則其實都是「agent 底下那層」的工事:一篇工程師把 agent 的記憶當程式分析來重造、Mistral 讓檢索從「丟一疊結果」變成「自己翻文件」,vLLM 則把 agent 的思考 token 放進伺服層當成一級公民。除此之外,OpenAI 與 Anthropic 同週在教育戰場各推各的方案。八月底的圈子有點安靜,但也有它的形狀。


🔥 把 agent 的記憶當成程式分析:一個漏洞研究者的自救

Jordy Zomer 在 pwning.systems 發布的文章:他常拿 LLM agent 做漏洞研究,卻發現一旦調查拖到幾個小時,模型會慢慢「失去對已確認事實的掌握」——提出早就被排除的攻擊路徑、把已證偽的假設繼續當真、甚至在他用 LLDB 證實 object_a 其實沒有指向 object_b 之後,仍然踩著這條錯誤前提往下推。他一度想靠記憶系統解決,但對主流做法(把對話紀錄 embedding 再抓回來)不太滿意:他要的不是 agent「記得我們說過什麼」,而是它「維持一個我們到目前為止真的知道什麼」的狀態。

於是他把 agent 的知識當成程式分析來處理:一堆事實加上推論規則,算出一個固定點(fixed point);當某條輸入事實變更,就只更新受影響的結論,而不是整池重跑——這正是靜態分析在面對程式變更時的手段。作者的用意是,長時間的調查裡,一個事實翻盤時 agent 不會把先前所有結論連坐作廢,也不會繼續站在錯誤前提上。

能把批判寫進敘述的地方在這裡:主流 RAG 記憶系統的根本假設是把「一段對話紀錄」當成可檢索的 ground truth,但當紀錄裡的新舊事實彼此矛盾,模型只能靠機率去猜哪一條還有效。「回想一段對話」和「維護一個已知狀態」是兩套完全不同的記憶哲學,而這篇文章是防守方(資安研究)自己動手造的例子——作者也坦言這只是他的探索,不是銀彈。


Mistral Agentic Search:讓模型自己翻文件,宣稱少轉幾輪、省一成以上 token

Mistral 推出 Agentic Search。官方定位:不再一次丟一排檢索結果給模型,而是讓模型自己搜尋、自己瀏覽企業最複雜的資料與文件。走的是一條「search → read → answer」的多步流程——先搜尋、再讀取原始文件、才回答。官方說法在 FinanceBench 與 OfficeQA 上準確度更高,同時削減轉數(turns)、token 用量與延遲:token 最多省 23.9%–33.7%、延遲最多降 39.6%。工具設計成接近檔案系統的操作,不需針對特定模型微調,官方稱 model-agnostic——推理模型換強時,檢索品質自然跟著好。

該放大的幾處。第一,這些數字是 Mistral 自家量測,基準由它挑、stack 的預設設定與 chunking 由它定。第二,定位文案裡那句「讓工具能安全地觸及你最敏感的資料」——「安全地」與「最敏感」由誰畫線、文件存取權限的驗證與放行機制是什麼,官方沒有細講。這跟上一篇其實是同一條線的兩端:記憶與檢索,都是「讓 agent 自己決定去碰哪份資料」這條路上的零件,而越界與否的裁判權,正在往把資料放出來的那一方手上集中。


vLLM v0.28.0:推理伺服層開始把「思考 token」當一級公民

開源推理引擎 vLLM 發 0.28.0,純工程更新。Highlights:新的 model runner 重構、thinking token budget 支援(給 reasoner / agent 設定思考 token 的上限)、attention-free 模型支援,Blackwell 上 CUDA graph capture 預設值推到 1024。Breaking changes 裡 Transformers 升到 5.15.0、移除已棄用的 calculate_kv_scales。模型支援新增 Ling 3.0 Flash(含 BF16 / MTP / parser 與 FP8 變體)等多顆。這裡沒有公關語言可以拆——它反映的是伺服層的實際動向:當 agent 大批進場,控制「想多久」的思考 token 預算,從一個應用層參數變成了引擎層的內建功能。


教育戰線一週兩開:OpenAI 擴到 55 個學區,Anthropic 跟進學校方案

OpenAI 宣布 ChatGPT for Teachers 擴展到更多美國學區(官方數字為 55 個)。這與 Anthropic 這週剛上線的 Claude for Teachers 學校/學區方案放在一起看(昨日日報有報),兩家公司同週各推各的教育工具,針對的是同一批 K-12 使用者的兩種套裝。教育戰場的競爭本身沒什麼好批——但需要被追問的是「對學生有幫助」這件事由誰來定義、評測用的標準從哪來、學校端把師生的資料餵進公用模型訓練的邊界在哪。官方文案對這些保持沉默,而這正是兩邊文案長得幾乎一樣的地方。


📡 其他值得關注

  • Anthropic AI for Science Program:Anthropic 推出的 AI for Science 計畫,官方定位是加速科學發現,具體落地機制官方還沒細講。→ anthropic.com

  • The Finn——住在路由器裡還會抱怨的 agent:一個開源專案,agent 常駐在你的路由器上、幫你監看網路還順便抱怨它。→ github.com

  • Domain-Driven Agents:一篇以「領域建模」為核心來設計 agent 的部落格文,把 agent 的能力對齊到業務領域的邊界,而不是通通塞進同一個通用代理裡。→ coldtake.dev