【LLM 日報】2026 年 10 月 23 日 — OpenShell 代理沙盒、LLM 輔助形式驗證與信心分數的校準問題
過去三天的素材集中在代理如何被放進可控的執行環境,以及模型輸出如何取得可檢查的依據。NVIDIA 公開代理沙盒,Anthropic 展示用 Claude 協助產生機器碼層級的形式證明;另一篇工程文章則指出,模型自行寫出的「信心分數」不能直接當成校準過的機率。
🔥 NVIDIA OpenShell 以核心層級政策限制自主代理
NVIDIA 公開 Apache 2.0 授權的 OpenShell,定位是讓代理在可限制檔案、程序與網路存取的沙盒中執行。README 描述的做法包含在執行期間對檔案存取、system call 與網路連線進行核心層級政策執行,並在套用政策變更前,以形式化工具檢查變更允許的範圍。
OpenShell 的政策可指定代理能接觸的檔案、網路端點與憑證。專案也提供 gateway、supervisor、sandbox、provider 與 SDK 等元件;憑證可設定為只能連到核准的 endpoint。README 列出的執行環境包含 Linux、Apple Silicon macOS,以及仍標示為 experimental 的 Windows WSL 2,部署 Kubernetes 時則要求 CNI 實際執行 NetworkPolicy。
專案目前仍是 0.1.x 系列,README 要求使用者依照支援矩陣配置 Docker、Podman 或主機虛擬化環境。預設 sandbox image 不含代理,快速入門使用 OpenRouter 的免費模型示範;這不是對所有代理、模型或部署環境的安全保證。OpenShell 也會收集匿名的操作類遙測資料,使用者需要自行設定環境變數停用。
- 來源:github.com
Anthropic 展示 Claude 產生 123 個開源函式庫的形式驗證證明
Anthropic 與 Theorem 表示,他們讓 Claude 對 123 個 OSS-Fuzz 開源函式庫的 239 個 entry points 產生 RISC-V 組合語言層級的形式證明,目標是證明既有 fuzz test 在最多 64 MB 輸入下不會觸發 crash。Anthropic 表示,Claude 在嘗試完成證明的過程中也修補了部分錯誤,並找到數百個 bug;部分證明與 RISC-V、Linux process semantics 已公開供外部驗證。
這套流程把可編譯的 fuzz test 轉成規格,再由 Claude 產生 Rocq proof,最後由 Rocq kernel 檢查證明是否符合規格。文章列出的結果包括需要約 20 MB 特定輸入才出現的 decompressor 越界寫入、需要 64 MB 輸入與超過 2 GB 記憶體的 image decoder 越界讀取,以及重新發現 libexpat 的 CVE-2026-56132。
文章也描述其他實驗:Claude 產生的 Rust Python interpreter 在 170 萬個隨機程式測試中,與 CPython 行為一致率為 99.95%;在另一個 PDF reader 的形式驗證工作中,研究團隊表示一週內找到的安全 bug 數量相當於通常一年回報的數量。這些數字與案例來自 Anthropic 的合作研究,並不等於所有程式都已被證明安全。
Anthropic 明確列出限制:形式驗證只涵蓋被寫入 theorem 的性質,實際機器可能與模型描述不同,規格、RISC-V 與 Linux 的形式模型,以及 Rocq proof checker 本身也屬於需要信任的元件。文章的驗證工作還可能消耗數億 token;它公開的結果是可供檢查的證明與規格,不是「沒有任何 bug」的通用聲明。
Agent Skills 標準移交 Agentic AI Foundation
Anthropic 宣布把 Agent Skills 的名稱、標誌、GitHub organization 與 agentskills.io 網域捐給 Linux Foundation 旗下的 Agentic AI Foundation(AAIF)。Agent Skill 是包含 SKILL.md、腳本與參考資料的資料夾,用來向代理提供特定任務的程序知識。Anthropic 表示,ChatGPT、Cursor、GitHub Copilot 與 VS Code 等超過 70 個代理平台已整合這項標準。
官方文章稱,自 2025 年 12 月公布標準以來,社群已發布 100 萬個 skills、安裝次數接近 2.8 億次。這些數字是 Anthropic 在公告中的統計,文章沒有提供完整計算方法或獨立審計結果。移交後,Anthropic、Google、OpenAI 等公司的工程師將以個人身分維護標準,David Soria Parra 與 Mahesh Murag 擔任 lead maintainers。
AAIF 的初步 roadmap 包含版本化發布、正式提案流程,以及給 skill 撰寫者與安裝者的安全指引。規格仍可在不加入 AAIF 的情況下使用與貢獻;公告也把安全指引列為接下來要建立的工作,而不是已完成的驗證機制。skill 能執行什麼操作,仍取決於載入它的代理平台、權限設定與使用者是否檢查內容。
一篇工程文章主張:LLM 自行產生的信心分數沒有校準依據
Amrut Joshi 在一篇工程文章中區分「模型說出一個數字」與「經過校準的信心」。文章以天氣預測為例,指出 70% 的預測只有在大量同類預測中約 70% 成真時,才具有可檢查的校準意義;同時,永遠輸出季節基準值的預測器也可能看似校準,卻沒有利用個別案例的資訊。
作者的論點是,LLM 產生 0.85 時,數字是依照上下文逐 token 生成的文字,不是從模型內部的機率計量表讀出的測量值。改寫問題、重問一次或改變數字前的文字,都可能改變輸出。文章因此建議,若客服代理需要把不確定案例交給人工,信心分數應由可重複的規則產生,並用實際結果持續更新與檢查。
這篇文章不是一組跨模型的校準實驗,也沒有提出適用所有代理的單一替代方法。它提出的必要條件是:分數要反映可取得的資訊,並且要在同類問題上與結果紀錄比對。若系統沒有保存每次回答與結果,就無法知道分數是否與實際正確率相符。