【LLM 日報】2026 年 10 月 05 日 — 大模型下放到本機,工作流仍比參數更決定結果
這三天的新素材,一條線把大模型搬到一般電腦,另一條線則把代理的長期脈絡改由人維護的文件承擔;Anthropic 的科學案例也顯示,模型能處理大量計算,不代表它能自行判斷研究問題是否重要。模型能力之外,硬體條件、文件結構與領域審查仍直接決定成果能否被使用。
🔥 125B 模型可在消費級電腦本機執行,但硬體門檻沒有消失
開源專案 Strata 將 Qwen3.8-Flash-Next 壓縮後的版本放進本機推論引擎,提供 Windows 與 Linux 安裝流程,並透過 OpenAI、Anthropic 相容的本機 API 連接聊天工具與 coding agent。專案採 MIT 授權,表示請求可留在自己的電腦,不必把提示內容送到遠端服務;模型本身及部分元件則各自有授權條件,不能只看 Strata 的授權就概括所有檔案。
README 列出的測試中,RTX 5070 12GB 搭配 Ryzen 5 7600,在 Q2_0 量化版本的輸出速度為每秒 94 token;RX 9070 XT 16GB 的相同版本為每秒 60 token。這些是專案在兩台硬體上的測量,不是跨硬體的保證,也沒有取代獨立基準測試。
「消費級」不等於低成本:安裝器建議至少 12GB VRAM、32GB RAM 與約 80GB 可用磁碟,完整下載約 70GB;較大的量化版本還會把部分模型放到 SSD,輸出速度隨之下降。README 也標示較舊 GPU、Intel Arc 與沒有 AVX2 的處理器仍屬實驗性支援。
- 來源:github.com
文件取代向量記憶,代理的脈絡由可讀取的專案紀錄保存
開發者 Kevin Liao 撰文主張,多數 agent memory plugin 的核心流程都是讀取對話、切成片段、寫入向量資料庫,再依相似度把少量片段塞回每次提示。他列出的問題包括:片段缺少上下文、過去內容被當成事實、代理無法搜尋自己不知道的關鍵字,以及儲存內容難以稽核。
文章提出的替代方式是 document-based memory:以 AGENTS.md 和其他 Markdown 文件保存規則、規格、決策、研究與索引;代理開始工作前讀取相關文件,完成後更新過時內容或新增文件。作者以自己開發的 Operator Memory 為例,該工具採 Markdown 儲存,沒有向量資料庫、embedding 或背景整理程序,文件可以直接閱讀、修改、提交與分享。
這是作者對工具架構的主張與實作經驗,不是對各種 memory plugin 的控制實驗。文件式方法把檢索問題換成文件組織、更新責任與代理是否真的讀取的問題;若專案沒有持續維護規格和決策紀錄,改用純文字儲存不會自動產生完整脈絡。
- 來源:liao.gg
Anthropic 的 BootLoops 案例:模型做計算,專家決定計算是否有科學意義
物理學家 Matthew Schwartz 在 Anthropic 發表客座文章,介紹開源工具 BootLoops 如何把 Claude 放進數學物理、生態學、人口遺傳學與語言學的定量研究流程。作者表示,工具在數學物理中重現既有結果並計算新的積分,再把相同方法帶到其他領域;文章披露他在這段期間是 Anthropic 訪問研究員,但 BootLoops 並非 Anthropic 專案。
文章描述的工作包括以新方法完成 30 個積分,其中 15 個是既有結果的重現、15 個此前未計算;在生態學案例中,模型解出中性生物多樣性理論的方程,套用巴拿馬 Barro Colorado Island 森林資料後,得到物種組成變化速度約為理論預測的 4.5 倍。作者接著找生態學家 James O’Dwyer 協作,將問題改成能分析自然選擇、競爭與物種差異的模型。
人口遺傳學案例則分析 1000 Genomes Project 的 57 億組鄰近突變,作者稱結果提供基因轉換機制的證據;文章同時說明相關工作仍在延伸與驗證。作者也記錄模型會把技術上正確、但科學價值有限的結果說得很重要,跨領域時需要專家重新定義問題。這些研究結果來自作者與合作者的案例,文章沒有把它們呈現為已完成獨立驗證的普遍能力測試。