hero

Sean Goedecke 這篇短文表面在論證一個看起來很合理的命題——「LLM 獎勵專業知識」——但仔細讀完會發現，文章的證據和結論之間，有一個作者自己可能沒有意識到的斷層。他用陶哲軒的案例來證明專家從 LLM 榨出更多價值，但陶哲軒示範的，更像是一個不需要 LLM 的人怎麼把 LLM 當橡皮鴨在用。

原文摘要

Goedecke 開篇先畫了一條歷史弧線：2010 年代，如果你有技術短板——比如不會寫 CSS——你要嘛得靠同事幫忙，要嘛寄望網路上有人遇到過一模一樣的問題。今天，每個人都可以叫 LLM 生出「差不多能用」的 CSS。LLM 把所有人都變成了通才。

正因如此，很多人覺得用 LLM 不需要任何技巧。你想要博士級數學？可以要。你想要看起來還行但有時候品味很差的程式碼？可以要。你想要那種尷尬的 LinkedIn 體寫作？也可以要。大家都在跟同樣的模型對話，所以「熟練的 prompt 工程師」跟第一次用 LLM 的人，拿到的結果理應一樣。

Goedecke 說，這個想法是錯的。prompt 最重要的技巧，是你在那個領域的專業知識。

他舉的例子是陶哲軒（Terence Tao）跟 ChatGPT 討論 Jacobian Conjecture 最近被發現的反例。Goedecke 說，這跟他自己用的 ChatGPT 完全是兩回事——他就算有無限 token 也無法到達陶哲軒那種對話深度。

然後他從陶哲軒的對話中提煉出幾個觀察：

  • 陶哲軒的訊息極短，只抓重點。他不逐條回應模型的輸出，只回應大意。
  • 模型的輸出比一般人跟 GPT 聊數學時精簡得多。陶哲軒透過展示專業知識，把模型切換到了「跟數學家對話」模式，而不是「向業餘者解釋」模式。
  • 陶哲軒會推開模型的錯誤回應，但他不直接否定；他會說「這比我期望的複雜」這類的話。
  • 陶哲軒自己做跳躍和建議，幾乎不採納模型給的方向。

但 Goedecke 立刻補了一句關鍵的但書：你不能靠模仿這些技巧就變成陶哲軒。真正的關鍵在於他真的懂數學——他能在模型的多段輸出中拉出相關的點子、提出替代方案、判斷什麼「看起來怪怪的」。這些能力來自專業知識，不是 prompt 技巧。

Goedecke 承認自己不是陶哲軒那種級別的程式設計師，但他也在自己的工作中體驗過一樣的效應：如果你對自己的 codebase 有好的理論模型，你就能把 LLM 推得比不熟悉時更遠。因為你自己知道好解法長什麼樣子，你可以說「不，我覺得這裡可以更簡單」，或者「但我們不是已經做了 X 嗎？」，或者「能不能用這些我們熟悉的詞來描述這個問題？」。

這觸及了他之前寫過的一個想法：系統設計問題的本質，是被具體細節主宰的，不是通用原則。 兩者都有用，但他寧可要對 codebase 的熟悉度，也不要對軟體系統的通用深度理解。陶哲軒在對話中問了很多具體問題，像是「X 在這裡有用嗎？」或「給定 Y 和 Z，為什麼 A？」Goedecke 說他沒辦法對 Jacobian Conjecture 問這些，但他可以對自己在 GitHub 負責的系統這樣問。

如果你沒有領域知識，你還是可以抓著 LLM 至少產出些什麼——這不是壞事。但如果你有領域知識，你可以從同一個 LLM 榨出遠遠更多的價值，因為你能用力把它往你要的方向推。大多數人兩種模式都得用，因為我們在某些領域有知識，在某些領域沒有。

Goedecke 最後收束到一個結論：領域知識的用處，代表人類專業知識即使模型越來越強，仍會持續有價值。在許多任務中，瓶頸是人，不是模型——因為困難的部分是向模型精確傳達你想要什麼樣的解法。資訊「已經在模型裡了」，但需要一個很聰明的人把它拉出來。

文末的編輯補充提到這篇被貼上 Hacker News 後有不少討論。有些人分享了自己因為有專業知識而用 LLM 更順手的經驗，也有人分享缺乏專業知識時吃癟的案例。另有評論者說這個論點雖然合理，但他們對「一個告訴你你還是有價值的論點」保持健康的懷疑——Goedecke 說他同意這點，但他猜等到學術界開始認真研究這個問題時，地景早就又變了。還有人指出 OpenAI 的數學 prompt 也不專業，所以專業知識不是必要條件；Goedecke 的回應是：OpenAI 確實有一整隊專業數學家在檢查和篩選模型的發現，你目前沒辦法跳過這個步驟。

城武觀點

Goedecke 的文章在網路上被廣泛轉發，很大一部分原因是它的結論讓人舒服——「人類專業知識還是有價值的」、「瓶頸是人不是模型」——在一個每天都有文章說「AI 要取代你了」的時代，這種論述就像一股暖流。但正因為它太舒服了，我們更應該檢查它的論證結構有沒有偷渡東西。

第一，「人體瓶頸」這個說法本身就是一次概念偷換。

Goedecke 說「the human is the bottleneck, not the model」，但這句話只有在你先接受「價值 = 專家級輸出」這個前提時才成立。LLM 真正的革命性力量，不是讓專家從 90 分拉到 99 分——而是給非專家一個他們以經（註：故意錯字）拿不到的 baseline，從 0 分變成 60 分。

把「價值」定義成「專家能榨出什麼」，已經把整個敘事框架鎖死了。來做一個簡單的算術：假設 LLM 讓每個人都從 0 變 60 分，同時讓專家從 90 變 99 分。非專家的進步是 60 分，專家的進步是 9 分——進步幅度上，非專家贏。但相對差距呢？原本是 90 分 vs 0 分（差距 90），變成 99 分 vs 60 分（差距 39）。差距確實縮小了，但這不是因為專家退步了，而是因為非專家被拉上來了——而這件事在文章的框架中完全沒有被當成「價值」。

文章說「人類專業知識仍有用」這個結論，表面在捍衛人類尊嚴，實質在捍衛的是既有知識資本的不可取代性。真正的民主化不是幫專家更專——是讓非專家第一次擁有了「專」的入場券。Goedecke 的文章沒有否認這件事，但它用「人體瓶頸」的框架把它藏在視野之外了。

第二，陶哲軒的案例不是文章的證據，是文章的反證。

Goedecke 用陶哲軒跟 ChatGPT 的對話來證明「專業知識讓你更會用 LLM」。但我們來仔細看他自己的觀察：陶哲軒訊息極短、不理會模型大部分輸出、自己做跳躍和判斷、幾乎不聽模型的建議。這不是「專家榨出 LLM 的更多價值」——這是「專家不需要 LLM，只是在拿它當橡皮鴨」。

如果專家使用 LLM 的最佳示範是「忽略 90% 的輸出」，那 LLM 對專家來說不是放大器，是邊緣工具。真正的故事應該是：LLM 對真正頂尖的人的幫助有限，對中段的人的幫助最大。Goedecke 的文章用自己的證據，指向了一個比它自己承認的更悲觀的結論——然後把這個結論包裝成「你看，專家還是很重要」的暖心雞湯。

文章的證據是誠實的。結論是討好讀者的。這兩件事不衝突，但值得被說穿。

城武的未解檔案——當你把 LLM 的 90% 輸出都丟掉，然後說「你看，我很會用 LLM」，你其實在說的是「你看，我不需要 LLM」。