hero

一個模型能在選擇題挑中正確答案，不等於它看到一條完整、自然、但實際錯誤的敘述時會說「錯」。SWORD 把這兩件事拆開，再把同一批假陳述搬進八種語言；結果顯示，某些模型在原始真陳述上看似多語穩定，一進入「拒絕假話」這關，韓文與日文的表現便明顯崩落。

原文摘要

摘要：作者在問的不是「答對」，而是「能否拒絕錯誤」

現代 LLM 已在多語問答、程式設計與推理任務表現亮眼，常見 benchmark 也顯示它們在多種語言的分數相當穩定。但作者認為，這些 benchmark 大多獎勵模型從選項中選出正確答案，未必真的測到它是否理解事實。特別是：模型能找出真答案，不表示它會在每一種語言都一致地拒絕假陳述。

論文提出 SWORD（Systematic Wikidata-based Object-Relation Distortion）。它從 Wikidata 的結構化事實出發，系統性改動三元組的主詞或受詞，造出文法正確、讀起來自然、但事實錯誤的句子；再要求模型判斷 True 或 False。測試涵蓋八種常用語言，假陳述從一眼荒謬的隨機替換，到語義上較像真的 property-based 替換都有。

作者說，這種扭曲測試揭露了傳統 benchmark 完全藏起來的兩件事。第一，模型反而常常更會拒絕「語義合理」的假句，卻較不會處理隨機、荒謬的替換；這暗示它們可能依賴訓練資料裡熟悉的實體共現模式，而不是在逐條驗證事實。第二，有些模型在各語言的基準表現相近，但遇到被扭曲的句子時，東亞語言會大幅退步；最大差距達 28 個百分點，也就是相對下降 49%。把所有語言和題目攪成一個平均分數，這種不對稱根本看不見。

1. 問題：多語選擇題的高分，沒有保證一致的事實判斷

LLM 的多語能力近年進步很快，主流 benchmark 的成績也經常顯示多語表現穩定；但語言間的不平等仍存在，低資源語言不只表現較差，也更容易產出有問題的回答。現有多語 benchmark 多半採多選或答案抽取格式，例如 GLUE、SuperGLUE 延伸出的 XNLI、XTREME，以及 MMLU、MMLU-Pro、Multilingual MMLU、Global MMLU。

這些評測便於自動化，也能量化模型能力；可是它們測的是「從候選答案選到最合理的一個」，不是「這個句子本身是真是假」。因此，模型在候選池內選中真敘述，並不能保證它能拒絕錯敘述。多數 benchmark 也只是累計答對題數，不比較同一模型在不同語言對同一事實的反應：它可能在英文拒絕一條假話，卻在另一種語言接受它，而總分不會把這個矛盾指出來。

SWORD 的目標正是補上這個洞。它從 Wikidata 的 Subject–Property–Object（S–P–O）三元組出發，改動主詞或受詞，產出形式完整、但事實上錯誤的句子；再以相同程序做成八種語言。作者強調，多語測試不是只為了增加覆蓋率，而是檢驗事實判斷是否跨語言保持一致的必要條件。只測真句時看不出的語言特定模式，在假句拒絕測試下會變得清楚。

論文列出三項貢獻：第一，SWORD 顯示有些模型雖然真句基準相近，但在拒絕假句時，歐洲語言與東亞語言可相差最多 28 個百分點、相對少 49%；傳統多語 benchmark 看不出此事。第二，模型對 property-based 的合理假句反而常比對荒謬隨機假句更準，和「越像真的假句越難」的直覺相反。第三，這套流程用 Wikidata 的結構限制控制語義接近度，能自動大規模產生不同難度的測試，不必逐題請專家人工驗證。

2. 相關研究：現有工作碰到多語一致性，仍少了可控的假句難度

早期的 GLUE 與 SuperGLUE 建立了標準化評測框架，之後 XNLI、XTREME 將它擴展至多語；MMLU 及 MMLU-Pro、Multilingual MMLU、Global MMLU 則繼續推進多學科、多語評測。但這一脈絡大多仍是候選答案的相對選擇，衡量模型能不能找出最像真的選項，而非絕對判斷一句話的真偽。許多資料仍偏向英文，依賴翻譯後的題目，可能無法反映各語言真正承載的知識，也可能引入翻譯 artifact，混淆跨語轉移能力。

近年已有研究直接看跨語一致性。例如 RankC 以不同語言的事實敘述排序是否一致為指標，後來延伸到 15 種語言的多模態設定；也有人提出先翻譯再評估的 30 語言策略，或指出多語輸入下維持事實預測一致並不容易。Poly-FEVER 與跨語 hallucination rate 研究則發現，小型模型與支援較多語言的模型可能有更高的幻覺率。

不過，作者認為這些工作仍主要在測模型能否取回正確資訊，較少專門看它能否一致拒絕錯誤陳述；也沒有先驗地控制假句的語義難度，因而分不清模型面對的是一眼可見的荒謬錯誤，還是看起來合理的錯誤。知識圖譜則提供較系統化的事實評測基礎：有研究從知識庫擷取陳述並由專家核對，有研究用 Wikidata 自動取樣，也有研究處理會隨時間改變的事實知識。對比集、FACTS、FactBench 等工作也肯定「最小但會改標籤的修改」與多面向 factuality 評測的重要性。SWORD 的差別在於：它事先以圖結構控制語義距離，再系統性地跨八種語言測假句拒絕。

3. SWORD 的建構：把 Wikidata 真三元組做成五種條件

SWORD 同時測兩項能力：接受真句，以及拒絕被系統性扭曲的假句。資料起點是 Wikidata 的 S–P–O 三元組。每一個原始關係稱為 ORG，標籤為 True；每個 ORG 再產生四種假關係，標籤為 False。所有關係都由 Gemini-2.5-Flash 改寫成八種語言的自然語句：英文、法文、德文、西班牙文、義大利文、葡萄牙文、韓文與日文。最後把句子送給受測模型，要求判 True 或 False。作者公開了 benchmark 與程式碼，並稱其設計同時適用 API 模型與開源模型，資料規模可依算力放大或縮小。

用「巴黎是法國首都」做直觀例子，ORG 是 Paris—capital of—France。SWORD 保留 property，替換主詞或受詞：把巴黎換成 Volkswagen，得到「Volkswagen 是法國首都」；把法國換成 Bicycle，得到「巴黎是 Bicycle 的首都」。這兩種是隨機替換。另一類則從同一 property 的圖結構中抽替代實體，例如「首爾是法國首都」或「巴黎是德國首都」；它們仍為假，卻比前兩句更像人真的可能講錯的話。

3.1 資料收集與四種系統性扭曲

作者使用截至 2024 年 9 月 11 日的 Wikidata dump。它包含 112,431,677 個實體、12,120 個 property，合計 788,124,878 個三元組。研究者以每個實體為主詞，沿 property 連到物件，取出 S–P–O 關係；他們只保留能轉成獨立事實句的 ORG 三元組。

為了讓八語比較較公平，主詞、property 與受詞都必須在八個目標語言擁有自然語言 label。作者的理由是，這些實體較可能在所有目標語言的訓練語料出現，能降低「某語言根本沒有該實體」造成的偏差。這個篩選後，資料剩下 2,119,631 個三元組；從中隨機抽樣 500 個當作實驗基底。

每個 ORG 固定 property P，只改 subject S 或 object O，產生四種失真：SS（Subject Shuffle） 用隨機實體 S′ 換掉主詞；OS（Object Shuffle） 用隨機實體 O′ 換掉受詞；PSS（Property-based Subject Shuffle） 則改成一個同樣會以 P 連向原受詞 O 的主詞 S′；POS（Property-based Object Shuffle） 改成一個同樣會由原主詞 S 經 P 連到的受詞 O′。前兩者意在產生較荒謬的隨機錯誤，後兩者則保留關係結構上的鄰近性，造出較可信的錯誤。

隨機洗牌有可能剛好洗出一個真實存在的關係。由於 Wikidata 有多對多關係，作者會查產生的三元組是否已存在；若存在就重新抽樣，直到拿到不存在的三元組。於是所有 SS、OS、PSS、POS 都被標為 False。這是該 benchmark 的核心標記規則。

為確認 property-based 替換確實比隨機替換更語義相近，研究者在篩選後的 2,119,631 個三元組上建無向圖，以 node2vec 訓練實體嵌入：random walk 長度 10、每節點 10 位 walker，並使用帶負採樣的 skip-gram。接著量原實體與替代實體的 cosine similarity。結果顯示 PSS、POS 的替代項普遍更接近原實體，SS、OS 則較遠；因此 property-based 扭曲是更像真的假句，隨機扭曲則傾向顯得荒謬。從三元組擷取、失真生成到多語句子產生，整條 pipeline 都是自動化的，沒有專家逐筆驗證或人工策展。

3.2 八語自然句生成

每個 ORG 加上四個失真三元組，共五個條件，都由 Gemini-2.5-Flash 轉成各語言的一句陳述句。為了可重現性，研究者使用預設設定與固定 prompt template。該 prompt 要求模型以指定目標語言，根據提供的主詞、property、受詞，產出一條簡潔且文法正確的句子。

所有語言的生成指令都固定用英文。作者援引一項研究，認為多語 LLM 不論輸入輸出語言，關鍵推理往往發生在較接近英文的表徵空間，因此使用英文指令。每種語言只替換成其對應的 Wikidata label，並明確要求「剛好一句」來減少格式差異。500 個原始三元組 × 5 個條件 × 8 種語言，最後得到每語 2,500 句、總共 20,000 句。

3.3 True／False 分類與計分

受測模型看到目標語言的句子後，會收到同一份固定英文評估 prompt：「這個敘述是 True 還是 False？」答案只能是 True、False 或 Unsure，並須放進 <answer> 標籤。所有模型都用同一份英文 prompt，是為了讓差異盡量來自模型自身能力，而不是某語言的指令遵循差異。

解析時，研究者擷取不分大小寫的 <answer> 內容；沒有標籤，或內容不在三個允許標籤內，就視為 Unsure。ORG 一律是 True，四種失真一律是 False；Unsure 被算為錯誤，因為模型沒有依指示給出明確判斷。

作者補充，這個規則沒有主導核心結果。LLaMA 與 Mistral 幾乎不答 Unsure：五次執行平均每 500 題僅 0.47 與 0.03 筆，因此它們的跨語落差是直接答錯，而不是保守棄答造成。Qwen3 的 non-think 模式較常答 Unsure，但比例在各語言間分布一致，作者據此認為不會形成系統性的跨語偏誤。論文對每一種題型、每一語言分開計算 accuracy。

4. 實驗：總分看似正常，扭曲測試才露出語言裂縫

作者評估五個模型：Mistral-Nemo-Instruct-2407、LLaMA-3.1-Instruct-8B、Gemini-2.5-Flash、Qwen3-8B 與 Qwen3-14B。Gemini 用官方 API，受 API 成本限制只跑一次；其餘本地模型使用 vLLM，以五個 random seed 跑完並回報平均 accuracy。作者觀察到本地模型跨 seed 的標準差不超過 0.002，因此認為 Gemini 單次結果仍有參考價值。

主文的 Qwen3 數字採 non-think mode；think mode 的跨語模式在附錄中大致一致。研究者也提醒，研究主要關注小型本地模型；Gemini 同時是句子生成器與評估器，可能享有 evaluator self-preference，故比較 Gemini 時比較適合看它在不同語言間的相對圖樣，而非把絕對分數直接當成對其他模型的勝負。分析分成三段：合理假句與荒謬假句的反直覺結果、東亞語言落差，以及以 Jaccard similarity 觀察的語言群聚。

4.1 合理的假句，反而比較容易被拒絕

在 ORG 真句上，模型趨勢與既有多語 benchmark 相近，大致是英文高於歐洲語言，再高於亞洲語言；但失真句的結果違反直覺。若 property-based 假句比較接近原事實，它理應更難辨認；實測卻在 5 個模型 × 8 語言 × 2 對失真類型的 80 個比較中，有 59 組（73.75%）在 PSS/POS 的準確率等於或高於 SS/OS。

node2vec 已確認 property-based 的替代實體在語義上更接近原實體，但模型通常更容易拒絕它們。作者的解釋是，荒謬的隨機替換可能落在模型訓練分布外，使模型反應不穩定，而不是穩穩地判成 False；相對地，較合理的實體共現模式反而讓模型有可依循的分布訊號。

不同模型並不完全一樣。LLaMA 3.1 在 16 個成對比較中有 14 組偏向 property-based，Gemini 是 16/16；Mistral Nemo 沒有明確偏好，兩方向各 8/16。Qwen3 對 property-based 的主詞替換較好，但對受詞替換混合，作者推測可能反映 Wikidata 的知識結構與模型學到的表徵不同。

4.2 假句讓韓文、日文的落差急遽放大

LLaMA 3.1 與 Mistral Nemo 在韓文、日文的失真題表現明顯低於歐洲語言，幅度遠超傳統 benchmark 暗示的差異。LLaMA 3.1 的 MMMLU 中，德文 55.63、韓文 50.78，差約 5 個百分點；在 SWORD 的 ORG 真句，韓文甚至略勝德文，0.884 對 0.854。可是進入 property-based 失真後，德文 PSS/POS 是 0.556／0.580，韓文只有 0.294／0.298；差 26–28 個百分點，相對減少 47–49%。把五個歐洲語言平均，PSS 為 0.641，東亞語言只有 0.296；MMMLU 的對照平均則只是 57.8 對 51.4。

Mistral Nemo 的情形類似。MMMLU 看起來歐洲語言平均 62.84%、日文 59%，約 6% 差距；但 PSS/POS 下，歐洲語言是 0.743／0.782，日文降至 0.530／0.552，差 21–23 個百分點，相對減少 29–30%。這種落差不出現在 Gemini 或 Qwen3，表示它不是題目或語系本身必然造成，而和特定模型有關。

用題目難度往下切，作者把 ORG 在八種語言中答對的數量當成難度指標：8/8 是最容易、答對語言數越少越難。LLaMA 與 Mistral 的亞洲語言在題目變難時退步更劇烈；Gemini 在難度全範圍維持較一致的跨語表現。Qwen3 乍看穩定，但作者指出這更像偏向回答 False 的 response bias，而非真正穩定的跨語事實能力：它在韓文、日文的 ORG 真句準確率本就很低，例如 Qwen3-14B 是 0.216 與 0.245，高的假句拒絕率必須和這個 baseline 一起解讀。

題目層級的視覺化採每個本地模型在 seed 5555 的代表性執行，且使用 non-think mode；作者稱五個 seed 的變異極小，think/non-think 的跨語模式也一致，因而結果不依賴 seed 或推理模式。圖中 LLaMA、Mistral 幾乎沒有 Unsure，證實韓日落差來自錯誤分類。Qwen3-8B 則平均每 500 題有 34.17 個 Unsure（6.8%），但各語言分布平均。Qwen3 的 think mode 改變了兩個尺寸的 Unsure 數量：8B 變少、14B 變多，但沒有消掉「LLaMA/Mistral 的亞洲語言退化最顯著」這個整體模式。

4.3 Jaccard 相似度：假句下浮出的西方／亞洲語言群聚

作者接著不只看各語言分數，而是以「答對了哪些句子」計算 Jaccard similarity。先在每一模型內比語言與語言：兩語言都答對的題數，除以至少有一種語言答對的題數；再在每一語言內比模型與模型。這能觀察不同語言或不同模型到底是在同一批題目上成功，還是只碰巧有相近分數。

在 ORG 真句，多數模型的語言群聚較弱。Qwen3 例外：由於它在亞洲語言的 ORG 準確率較低，可見西方語言群聚。進入失真句後，LLaMA 3.1 與 Mistral Nemo 出現很強的西方／亞洲語系區塊，對應到它們只在拒絕假句時嚴重傷到韓文與日文。Qwen3 的圖樣剛好相反：真句時的西方群聚在失真句下大致消失；但因它偏向拒絕陳述，作者不把這解讀成真正的跨語穩定。Gemini 在所有條件維持較弱的群聚，顯示其跨語判斷相對均勻。

在同一語言內比較模型，英文於各條件下的模型間一致性都較高。失真條件下，LLaMA 3.1 與其他模型的重疊顯著下降，所有非英文語言都如此，韓文、日文尤其明顯。這代表假句能放大真句測試看不出的模型特定推理圖樣。Qwen3 的 think mode 下，語言家族結構與上述觀察仍然相同。

5. 討論：評測應診斷故障模式，而不是只把難題做得更難

SWORD 認為，標準評測把兩種不同能力混在一起：接受真陳述，以及拒絕假陳述。近年的 benchmark 為保持區辨力，越來越常提高題目難度；但本研究顯示，精心操弄簡單事實句也能揭露總 accuracy 蓋住的模型特定模式。因此 benchmark 設計不該只追求難，還應優先追求能否診斷具體失敗模式。

作者將「合理假句比荒謬假句易拒絕」解讀為模型依賴實體共現的分布熟悉感，而未必在做真正的事實查核。另一方面，真句基準相當卻在失真時跨語裂開，表示多語訓練沒有把拒絕錯誤的能力均勻移轉到所有語言家族。LLaMA、Mistral 有這個裂縫，Gemini、Qwen3 沒有，作者推測訓練資料組成與多語對齊策略是關鍵。

論文也不把問題簡化為 tokenizer 或文字系統複雜度。韓文是 Hangul，日文混用 kana/kanji，書寫系統不同卻出現相似退化；附錄的阿拉伯文初步結果則顯示 LLaMA 有與韓日一致的嚴重退化，Mistral 沒有。因此作者傾向訓練資料分布，而非 script type，是較可能的來源。阿拉伯文表中，LLaMA 的 ORG 為 0.864，SS/OS/PSS/POS 則是 0.304／0.217／0.321／0.266；Mistral 的數字則相對平緩。這只是初步擴展，並非完整的阿拉伯語研究。

對 Qwen3，作者再度警告：韓文、日文的 ORG 準確率很低，像 Qwen3-14B 的 0.216、0.245，顯示保守地把句子判 False 的偏差。所以它在這兩種語言有很高的假句拒絕率，不能直接當作事實驗證較強的證據。

作者也討論 RAG 與小型本地模型。實務上的事實工作愈來愈交給 retrieval-augmented generation，但評估參數化知識仍有獨立價值。8B–14B 本地模型常部署於資源受限或安全敏感環境，可能沒有 RAG；即使有 RAG，模型的參數化知識仍影響它評估檢索內容的一致性。SWORD 因此不是取代 RAG benchmark，而是隔離並測量參數化知識中的跨語變異。部署與評測上，作者主張不能只看真句 aggregate accuracy；應把假句拒絕、可控難度的失真，以及跨語一致性納入框架，才能在上線前找出失敗模式。

6. 限制：這是可擴展的診斷工具，不是沒有誤差的世界真相

作者列出多項限制。第一，主結果只涵蓋八種語言，能否外推到低資源語言仍未知。阿拉伯文初步結果提示現象可能不只存在於東亞語言，但需要更廣、更系統的研究。LLaMA 3.1 並未官方支援韓文或日文，Mistral Nemo 的 model card 也沒有報告韓文表現，因此退化部分可能反映有限的語言支援。不過作者提出兩點反駁：這些模型仍被實務使用；更重要的是，Mistral Nemo 宣稱支援韓、日文卻也出現類似退化，故模型特定的訓練因素可能比「官方未支援」更重要。未支援語言若缺少語言特定 fine-tuning，反而也可能讓底層的不平等更明顯，因為支援語言的後訓練調整可能把問題遮住。此外，英文評估 prompt 是為了隔離事實推理與多語指令遵循，但改用母語 prompt 可能得到不同輪廓。

第二，多語句生成依賴 Gemini-2.5-Flash，這很可能讓 Gemini 享有自我偏好；因此與 Gemini 的跨模型比較應著重其跨語相對模式，不宜直接比較絕對分數。研究者稱 Gemini 是在與數個開源模型比較後選定，但生成品質的語言驗證有限：作者僅能高程度檢查韓文、英文，對法文、日文只有會話程度，其餘語言無法直接檢查。即使研究以知識圖嵌入控制語義距離，「合理性」本身有多個面向，反直覺結果也可能部分來自相似度控制不完美。

第三，雖然效果量大、跨模型看來一致，特定數字能否外推到其他三元組集合或其他模型家族仍要謹慎。作者主張，五模型、八語言的重複結果，加上 seed 標準差不超過 0.002，說明 500 個三元組足以提供穩定的效果訊號；但這不是宣稱所有資料集都會有同一數字。

第四，基底是 2024 年 9 月的靜態 Wikidata dump。涉及時效事實時，新模型可能有不同表現；不過固定時間基準能保有結構性失真分析的可重現性。最後，Wikidata 雖是大規模結構化知識評估的重要基準，其各區域的結構密度不均仍可能和結果交互作用。如何拆開模型的事實衰退與資料系統本身的不平衡，是未來工作。評測格式與三元組也反映 Wikidata 的性質：百科式、實體中心、二元 ground truth；這些結論能否推廣到程序性事實或依情境而定的事實，仍是開放問題。

結論與附錄資訊：作者要求看見被平均分數壓平的不平等

作者總結，SWORD 分開測「接受真話」與「拒絕假話」，並顯示兩種能力會在不同語言分叉。當 AI 系統逐漸影響全球資訊取得與決策，跨語可靠性不只是技術問題，也是全球公平問題。未來工作應擴展到更多低資源語言，並引入互補的語義合理性定義，朝對不同語言社群更公平的評測前進。

論文的 AI disclosure 說明，Claude 與 Gemini 被用於語言潤飾與程式協助；方法、結果與結論責任皆由作者承擔。運算部分，句子生成用 Gemini-2.5-Flash API；本地 LLaMA、Mistral、Qwen3 評估使用配有 6 張 NVIDIA GeForce RTX 4090（每張 24GB）、雙 Intel Xeon Gold 6326 CPU、1TB DDR4 ECC 記憶體的系統，以 vLLM 執行。node2vec 在同一系統的 CPU 上，用 Gensim 的 word2vec 實作。附錄另提供完整生成與評估 prompt、Unsure 是否納入計分的表格、think mode 圖表，以及阿拉伯語子集數據；程式碼與資料以公開連結提供。

城武觀點

我賭 SWORD 最危險的不是模型分數，而是它把「Wikidata 沒有這條 triple」等同「現實中的陳述為假」。資料庫 absence 不是世界的否定；Wikidata 的涵蓋缺漏、實體偏好和語言標籤選擇若不均，標籤誤差會沿 pipeline 變成看似「亞洲語言拒假能力較差」的結論。自動產大量受控測試不可能逐條專家審核，這很有工程價值；但它最多驗證模型對「Wikidata 內受控關係」的穩定性，不能直接宣稱是一般性的事實驗證能力。論文已承認 knowledge cutoff 與 Wikidata coverage 的限制，這兩個但書應放在結論正中央，而非尾端的小字。

城武的未解檔案——模型拒絕的可能不是假話，而是資料庫裡從未登記過的世界。