hero

「畫地圖」聽起來是最中立不過的一件事——把散落各處的東西標記下來，僅此而已。但這篇 NeurIPS 2025 的 position paper 讓事情複雜起來：當研究團隊用 176,382 個模型節點、88,878 條邊，把 Hugging Face 上的模型群體畫成一張互連圖譜，地圖就不只是地圖了。它決定了哪些模型「存在」、哪些被歸類成淡藍色的未知區域，也把一個統計事實（99.41% 的量化模型是葉節點）悄悄升級成「結構先驗」。這篇值得讀，不是因為它畫得有多好，而是它讓你看到「畫地圖」這個動作本身，以經開始替未來的研究者決定他們能往哪裡走。

原文摘要

這篇論文的正式標題是《We Should Chart an Atlas of All the World’s Models》，作者是 Eliahu Horwitz、Nitzan Kurer、Jonathan Kahana、Liel Amar 與 Yedid Hoshen，來自耶路撒冷希伯來大學（Hebrew University of Jerusalem），是 NeurIPS 2025 的一篇 position paper。

核心概念。 Model Atlas 把整個機器學習模型的群體，視覺化成一張互連的圖譜，展示模型之間如何演化、如何彼此關聯、以及如何透過 fine-tuning 相互轉變。整張圖的統計規模是：176,382 個模型節點、88,878 條連結。這些邊是有向的，代表權重之間的轉換（例如 fine-tuning）；節點的大小與顏色編碼了節點級與邊級的特徵；淺藍色則代表缺失或未知的資訊。

動機。 公共模型倉庫如今已經累積了數百萬個模型，但其中大多數仍未被記錄，實質上等同於「遺失」了。這篇論文倡議的，就是要在一個統一的結構裡，把全世界的模型群體繪製成地圖——也就是所謂的 Model Atlas。

第一個技術貢獻：Hugging Face Atlas 分析。 作者分析了 Hugging Face 上已有記錄區域的一個小子集，約 63,000 個模型；即使只是這個小子集，也已揭露了重大趨勢，包括：模型群體的複雜層次結構（深度與結構）、量化模型的分佈模式，以及 adapter 與 fine-tuning 策略在不同社群之間的明顯變異。

第二個技術貢獻：模型屬性預測。 目前大多數模型的記錄非常不完整。因為 atlas 的局部區域包含彼此相關的模型，atlas 因此可以用來預測缺失的模型屬性，包括任務（task）、準確度（accuracy）、授權（license）、缺失的權重、以及流行度。使用 atlas 的結構，在預測模型準確度及其他屬性時，能比天真地使用多數標籤（majority label）做得更好。

第三個技術貢獻：繪製 Atlas 的方法。 實際上，超過 60% 的 atlas 是未知的。作者利用 atlas 中已知的區域，識別出基於真實世界主導訓練實踐的高信度「結構先驗」，共三個：

第一，量化是葉節點。作者分析了超過 400,000 筆已記錄的模型關係，發現 99.41% 的量化模型是葉節點——量化模型（圖中標為洋紅色）幾乎總是最末端的葉節點。

第二，時間動態指示邊方向。同樣分析超過 400,000 筆模型關係，99.73% 的情況下，較早的上傳時間對應到 DAG 中拓撲上較高的位置，幾乎所有節點都符合這個假設。

第三，Snake 與 Fan 兩種模式。Snake 模式通常源於序列訓練的檢查點（checkpoint）；Fan 模式通常源於超參數掃描（hyperparameter sweep）。在兩種結構中，模型權重的變異數都很低；但 snake 模式中，權重距離與模型上傳時間有高度相關性，而 fan 模式中這個相關性較低。

他們的方法計算模型權重之間的距離，利用這些先驗，方法顯著優於基線，即使對 in-the-wild（野生）的模型也一樣有效。

觀察。 第一，Llama 區域比 Stable Diffusion 區域具有更複雜的結構、更多樣化的轉換技術（例如量化、合併 merge）。第二，節點的位置是為了視覺清晰性而最佳化的，並不直接反映模型權重之間的距離。第三，大多數的邊與特徵是未知的，這激發了以模型為輸入、推斷其屬性的機器學習方法，藉此補全 atlas 的缺失區域。

相關工作。 作者列出的相關研究包括：《Recovering the Pre-Fine-Tuning Weights of Generative Models》、《Learning on Model Weights using Tree Experts》、《Unsupervised Model Tree Heritage Recovery》、《Deep Linear Probe Generators for Weight Space Learning》，以及《Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights》。

城武觀點

這篇論文最危險的地方，藏在一個不起眼的用字選擇裡：它把「99.41% 的量化模型是葉節點」稱作「先驗」。

先驗這個詞在機器學習裡有特定的重量——它是你動手之前就相信的事，是你拿來約束後續所有推論的前提。但這裡的「先驗」根本不是先驗，它是事後統計。作者分析完 40 萬筆關係，發現 99.41% 的量化模型是葉節點，然後把這個「發現」重新命名為「先驗」寫進方法。於是一句描述過去的話，被語法升級成一句規範未來的話。這就是我說的滑移：描述性科學變成規範性科學。

99.41% 是過去行為的統計摘要，不是物理定律。量化模型今天幾乎都是終點，不代表它天生就該是終點，更不代表未來的量化模型不會再被拿來 fine-tune。但當 Atlas 把這件事包裝成「先驗」，它就是在告訴接下來的每一位研究者：量化模型是死路，別再往下走了。地圖本來只記錄「這裡有人走過」，一旦它開始替後續的人決定「這裡不用再走了」，地圖就變成了監獄。那個 0.59% 的例外——那些不是葉節點的量化模型——才是這張圖最不該被平均掉的部分，結果它被 99.41% 這個漂亮的數字一筆帶過了。

然後是那超過 60% 的「unknown」。作者很老實地承認了這件事，但「unknown」這個字本身已經在作弊了。那一片淡藍色區域不是「沒有模型」，是「沒有符合記錄標準的模型」。Hugging Face 的記錄機制——model card、license、base model 標註——決定了哪些模型有資格在地圖上被畫成一個有名字、有顏色、有方向的節點，哪些則被降級成語料缺失的噪音。這跟殖民時代的地圖把未知區域標上「此地有龍」是同一種權力運作：不是那裡真的沒有東西，是繪圖者沒有（或不願意）把那些東西納入自己的分類系統。一張宣稱畫出「全世界模型」的地圖，實際上有六成是留白的，而它用「未知」這個中性詞，把「我們沒記錄」偷換成了「它們不值得被記錄」。

我賭的是：這篇論文會被引用，而且被引用的方式會正好踩中它自己設下的陷阱。後續的研究者會把「量化是葉節點」當成一個已驗證的物理事實來引用，而忘了它只是某個時間點、某個平台、某套記錄標準底下的快照。思微的慣性比模型的慣性更難改——模型還可以被 fine-tune，一個被寫進論文的「先驗」卻會在被引用一百次之後，變成沒人記得來源的常識。

我不反對畫地圖，我反對的是把地圖的邊界偽裝成世界的邊界。描述性地圖是工具，規範性地圖是權力。而權力最擅長的事，就是讓自己看起來像一張中立的圖。

城武的未解檔案——99.41% 是過去行為的統計，不是物理定律；把統計改寫成先驗的那一瞬間，地圖就從工具變成了獄卒。