hero

城武導讀：這是一篇宣稱長達 44 分鐘閱讀的長文，作者是 DeepMind 研究科學家 Sander Dieleman——他正是「連續擴散語言模型（CDLM）」技術路徑的原始發明者之一（CDCD、SED、Simplex Diffusion 都有他）。他以親歷者身分，把 2021 年至今連續 vs 離散 vs 自迴歸三條技術路線的興衰寫成一部歷史，並宣告「連續擴散在 2026 年捲土重來」。本篇值得深讀，不只因為它把五年技術史講得很清楚，更因為敘事者本身既是歷史的主角也是利害關係人——他等了三年，終於等到自己路線的反攻。那這部「歷史」是描述，還是某種程度上的自我辯護？看完翻譯我們再談。

原文摘要

文章開頭說，連續擴散語言模型這個領域最近動作頻頻，他受刺激決定把想法寫下來。他 2023 年寫過一篇《擴散語言模型》，這篇主要是補上之後發生的事，且是很主觀的陳述——歡迎不同意見來留言。

挑戰自迴歸的霸權。 現代語言模型大多走自迴歸（autoregressive）路線：用 teacher forcing 在所有序列位置平行訓練，這套極度可擴展的配方成就了大型語言模型（LLM）。但自迴歸不是建構序列生成迭代過程的唯一方式。受影音領域早期成功啟發，研究者想把擴散應用在語言上。

  • 2021：早期的離散擴散模型。 圖像生成在 2019、2020 年大放異彩（score-based、DDPM），語言領域的第一波嘗試把「連續的污染過程」換成「離散的」（multinomial diffusion、D3PM、SUNDAE）。當時自迴歸的霸權還沒那麼穩固——GPT-3 讓人側目，但「ChatGPT 時刻」要到 2022 年底才來。離散擴散看起來能解決自迴歸的一些理論缺陷，例如 teacher forcing 造成的 exposure bias，以及難以做中間填字（infilling）與受限生成。
  • 2022：對離散資料做連續擴散。 幾篇論文把手伸向這個方向。做法是：把離散的類別直接用連續的 embedding 向量表示，就能用高斯雜訊污染，圖像那套擴散機制原封不動搬過來。代表性的有 Diffusion-LM（主打可控生成）、DiffuSeq、SSD-LM、Difformer、SeqDiffuSeq、GENIE、LD4LG，以及他參與的兩篇——自我條件 embedding 擴散（SED）與離散資料連續擴散（CDCD）。吸引力在於：能直接享受影音擴散累積的所有工具與蒸餾技巧，而這些對離散擴散往往難以移植。
  • 2023 年底：連續擴散的「大滅絕」。 然後有趣的事發生了：2023 之後，這個領域幾乎所有新研究都改用離散擴散。一份調查清楚地顯示這個轉變。作者推測幾個可能因素：ChatGPT 時刻把語言擴散研究的重心從「理論優雅」轉向「raw 效能」——目標變成去追平強大的自迴歸模型；另一因素是「擴散語言模型 scaling 的科學」（Plaid-1B）量化了連續方法在訓練效率上的差距——比自迴歸基準差了約 64 倍；再加上當時整個社群還很執著於「Chinchilla 最優」的訓練算力對困惑度的 pareto 前緣，一個訓練效率差了兩個數量級的建模方式很難被認真看待（LLaMA 提出的「納入推論預算」論述當時才剛出現幾個月）。他把這些稱作高度猜測。他自己當時也停下語言方向的擴散研究——忙著做 Imagen、Veo，以及後來的 Nano Banana 與 Omni。他覺得其實可惜，因為連續擴散有幾個關鍵優點：能表達 token 層級的單獨不確定性、有豐富的取樣工具庫可調用。

把連續擴散改造成適應離散資料。 要讓連續擴散去建模離散資料，需要幾個必要元素：embedding 策略、損失函數、雜訊排程、自我條件。

三種生成框架對照

  • Embedding 策略。 現代神經網路的參數是實數，處理離散資料第一步就是把它們 embed。對連續擴散來說，就是把「污染過程」從離散輸入空間「抬」進連續的 embedding 空間——先 embed 再污染，而不是先離散污染再 embed。embedding 空間的形狀與結構深深影響裡面的污染過程。幾種策略：①顯式（one-hot，但詞表 V 很大時很笨重，可用 Analog Bits 的緊湊二元模式繞開）；②預訓練（借用自迴歸或 BERT 的 embedding，甚至做語境化 embedding）；③聯合學習（把 embedding 和去噪器一起 fit、共同適應）。聯合學習看似最自然，但 CDLM 裡 embedding 的角色被抬高，容易塌縮或失控成長（例如去噪誤差可以被「把所有 embedding 弄成一樣」病態地最小化），所以往往需要多個 loss 項的取捨。embedding 幾何的重要性、散佈性（把語義相近的 token 推開）是好是壞，文獻意見不一。另外還要想清楚：embedding 該代表單一 token、帶語境的 token、還是更高層（整句、整段）——後者通常叫「latent diffusion for language」。CDLM 最終要產出離散 token 序列，所以需要 unembed 策略：他之前提出的「score interpolation」會在輸出機率分布、搭配交叉熵；多數方法是直接在連續空間預測、最後做離散化（最簡單是把 embedding clamp 到最近的詞表元素）。
  • 損失函數。 種類很多，通常和 unembed 策略綁在一起：去噪器直接預測連續空間 → 用 MSE；去噪器輸出詞表機率 → 用 categorical cross-entropy（配合 score interpolation）；或是從最大似然原則出發，用一個 bound（Plaid、VAE/KL 那套）。還有一些做法把連續擴散過程限制到「V-simplex」（詞表上合法機率分布的空間），例如 Simplex Diffusion、DDSM、FLOTO、Dirichlet Flow Matching——理論上誘人，實際上複雜度高、不太能 scaling 到大型詞表，最成功的應用反而在生物領域（DNA 只有 V=4、胺基酸 V≈22）。
  • 雜訊排程。 擴散的污染過程由「雜訊排程」控制，決定雜訊隨時間升高的速率。好的排程會漸進地摧毀資訊、把生成拆成能逐一解決的小任務；差的排程則會有大片「什麼都沒發生」或「一口氣毀掉很多」的區段。對 CDLM 特別重要，因為 embedding 是高維向量、代表離散的底層類別，有意義的污染集中在相對窄的雜訊範圍。常見做法是顯式地或線上地讓雜訊排程適應 embedding 的幾何。線上適應的原型是 VDM 論文（為最小化訓練目標的變異數、加速收斂）；應用在 CDLM 是學一個 σ(t) 來線性化去噪器預測的熵（CDCD、InfoNoise）或解碼錯誤率（FMLM），讓每個擴散取樣步驟解開相同位元數的資訊。
  • 自我條件。 擴散取樣是無狀態的（每次只看當下雜訊畫布，看不到自己上一步的預測）。但如果步距夠小，最優的去噪方向跟上次預測其實很像，重算似乎浪費。自我條件（self-conditioning，Analog Bits 引進）把上一步的預測餵回下一步。對 CDLM 它帶來巨大的效能提升，幾乎所有後續工作都用——儘管它打破了取樣演算法的無狀態假設（尤其是 ODE/SDE 系列），而且很可能用難以理解的方式偏置了模型分布。為什麼對語言特別有效、對影音卻不太行，仍然不清楚；Yoo 等人的論文把自我條件重解析為「一個嵌在擴散模型中的 fixed-point 模型的近似」，像巢狀 for-loop——這解釋了為何它的有狀態性在實務上不是問題。
  • 作者的自製配方。 他端出自己參與的幾個早期作品：①Simplex Diffusion——用非高斯的 CIR 過程（原本用來建模利率，隱含「不能為負」的假設，2008 金融風暴後就不太紅了，但很適合建模未正規化的機率），轉移密度變成非中心卡方分布而非高斯——純理論探索；②SED——圍繞預訓練的 BERT embedding，加低秩瓶頸（低維 embedding 擴散表現更好），用去噪 MSE + 交叉熵 unembed、餘弦排程、自我條件；③CDCD——把它定位成「BERT 但用高斯雜訊取代遮罩雜訊」，用標準高斯擴散 + 交叉熵（score interpolation）+ 適應雜訊排程／時間扭曲。令他得意的是，CDCD 的好些原料如今成了主流——適應排程很常見、score interpolation 被用 flow matching 重新推導並給出更強的理論基礎、自我條件如今無所不在。

近期的回歸。 2023 之後那個領域安靜了很久，大家都去做離散擴散（常見兩種離散污染：masked 離散擴散、uniform-state 離散擴散）。2025 下半年開始有人想帶回一些「連續味」，用混合方法。

  • 2025：離散和連續，為什麼不都要？ Sahoo 等人的 diffusion duality 觀察到高斯連續擴散和 uniform-state 離散擴散之間有密切關聯：用 arg max 把連續雜訊中間態映射回離散態，等於隱含把高斯污染過程轉成 uniform-state 污染過程。CADD、CCDD、CANDI 各自提出混合離散與連續污染的方式（CANDI 試圖解決連續擴散對離散資料的 scaling 問題「temporal dissonance」）。這些工作幾個月內接連出現，彷彿一場協調好的「改造連續擴散名譽」運動，但仍緊貼主流的離散典範。緊接著，純連續路線也迎來復興。
  • 2026：連續擴散的反擊。 2025 年事態又有了新發展——flow maps（flow map 基本上是擴散模型的「積分」：擴散學一個去噪器、反覆小步移動；flow map 則一次或盡量少步到位，網路直接逼近取樣結果）。這個強力框架啟發了好幾個團隊回頭看連續語言建模，想把框架的好處帶進這個類別。2026 年初三個密切相關的工作接連出現：Categorical Flow Maps、Flow Map Language Models、Discrete Flow Maps。2026 春季更迎來 CDLM 的「寒武紀大爆發」：LangFlow、Spherical flows、Hyperspherical flows（都建在 CDCD 之上）；LDLM 與 ELF（latent diffusion，改用語境 embedding 而非 per-token）；CoBit（用 bitstream／Analog Bits 那套）；RePlaid（把 Plaid 的最大似然方法現代化）。

幾個趨勢。 連續擴散近年變簡單、好上手了（現代解釋多半只用基礎概念如資料與雜訊之間的線性插值），降低了鄰近領域研究者的入門門檻。對「自迴歸之外」的語言建模範式興趣整體上升，多虧 DDLM 的成功與對新推理基質的探索；而 LLM 變成大生意，讓語言模型更快、更靈活也愈來愈有經濟價值。要減少 DDLM 取樣步數的努力常撞牆（同時取樣 token 假設條件獨立）；連續方法則完全繞過這問題——以軌跡為主的步蒸餾（flow map 方法）理論上能讓單步模型捕捉所有相關性，少步取樣對連續設定自然得多，這就是「可蒸餾優勢」。步蒸餾不只讓取樣更快，還解鎖 reward 導向的 steering 與微調（這對現代 LLM 很重要的後訓練階段關鍵）。不過他要提醒：影音領域連續擴散佔主導，原因幾乎完全不同（光譜觀點、能強調知覺相關內容），這些完全不適用於語言。而「連續擴散對多模態更友善」這個常見說法，他認為其實沒打中要害——真正的難題不是橋接多個建模範式（那相對簡單，見 Diffusion Forcing、Transfusion），而是語言 token（語意抽象）與知覺訊號的低層表示之間的「語意鴻溝」。他丟了張嗆辣的推文：「在多模態情境裡，連連續／離散之爭都是干擾，真正的挑戰是語言 token 與知覺表示之間的語意鴻溝。」

離散 = 淘汰？ 他認為不太可能。許多人看好離散擴散（von Rütte 說擴散語言模型是未來，尤其 uniform-state；Kuleshov、Junbo Zhao 也寫文支持）。最近 Google DeepMind 開源的 DiffusionGemma 與 NVIDIA 的 Nemotron Diffusion（都是 uniform-state DDLM）大大提升了「自迴歸不是唯一選擇」的認知。離散擴散的步蒸餾也並非不可能（D-MMD、IDLM）。而且擴散語言模型不必非得取代自迴歸才能成功——可以共存，甚至在同一系統裡共存：自迴歸常用「猜測式解碼」加速（用快的草稿模型一次預測多個 token，再交給自迴歸平行驗證），而離散擴散愈來愈常被拿來當草稿模型（DFlash 等）；反向思路是用自迴歸驗證去緩解少步離散擴散中獨立性假設的傷害（FEFDLLM、DMax）。也有持續探索的混合路線（Sticky Jump Diffusions 想用 SDE 框架統一 hybrid；Posterior Refinement 把連續擴散包進 masked diffdfusion，內層可用 flow map 蒸餾到很少步）。

接下來呢？ 擴散語言模型走向主流的趨勢沒有減緩跡象。離散或連續誰會主導還難說——也許兩者與自迴歸共存。長遠看，擴散模型的「資料效率優於自迴歸」這點可能愈來愈重要。他強調：研究社群必須正視擴散語言模型論文的一個共同弱點——評測方法論。因為很多公式化方法不方便在模型本身底下估計似然／困惑度，常改用替代的自迴歸模型來量測（「generative perplexity」）；而 Franca & Tong 證明 GenPPL 這個指標很容易被灌水、就算熵匹配也不該用；MAUVE 想解決開放式生成的評測，但最終仍依賴預訓練自迴歸模型。潛在的語言擴散（latent diffusion for language）持續吸引人——除了 LD4LG、LDLM，還有 Time Control、PLANNER、Large Concept Models、Segment-level Diffusion、LaDiR、Latent Thought Flows、AURORA-LM 等，但他說要全講會岔太遠。

結語。 他想為 CDLM 近期復興寫點東西——鑑於他早期的工作、對這個想法的喜愛、以及 2023 後 DDLM 全面接手時的失望。結果難免寫成了五年語言擴散研究的歷史回顧。幾個重點：①截至今年，CDLM 回到菜單上了，主要因為可蒸餾優勢；②CDLM 相對 DDLM 的關注度多年起起伏伏，現在是漲潮；③做法眾多、尚無明顯收斂；④有一段時間大家隱然共識「DDLM 更好」；⑤要讓這個方向被認真對待，評測方法論必須先理清。文末他列出幾個研討會：COLM 2026 的非自迴歸語言模型工作坊、NeurIPS 2026 的「擴散語言模型：基礎、效率與推理」與「超越 Next-Token 預測」工作坊，並提醒投稿截止在即。

（原文含 81 條參考文獻，涵蓋自 2017 年 Transformer 以來的擴散／流匹配／蒸餾／評測研究脈絡。）

城武觀點

就算把它當純技術史讀，這篇文章也藏著一條沒說的白線。作者在結尾親口承認這個領域最大的弱點是評測方法論——GenPPL 可以被灌水、連熵匹配都不該用。而「連續擴散回歸」這整段敘事，恰恰是建在他認證為易碎的那層地基上：說可蒸餾、說少步取樣有經濟價值，卻沒有一個可靠的尺去量「誰真的更好」。更關鍵的是敘事者的位置——他不是旁觀者，他是 CDCD、SED 的發明者，苦等三年終於等到自己路線反攻。這部「歷史」因此也是某種自我辯護：他的「漲潮」判斷，和他「想被認真對待」的期待是同一件事。我賭這個熱度目前主要是經濟誘因（推論變快 = 錢）加可灌水的評測撐起來的敘事，不是已被證實的科學定論——等評測方法站穩，我們才知道這究竟是一次復興，還是一場延遲的自我慶祝。

城武的未解檔案——當歷史的人物寫歷史，最該警惕的不是它說錯，而是它拼命想說對。