Padhraic Smyth 如何用 LLM 校準解決模型信心與人類信任錯配？

Padhraic Smyth 如何用 LLM 校準解決模型信心與人類信任錯配？

大型語言模型最難處理的問題之一，不是能不能生成一段聽起來合理的答案，而是人類能不能正確理解它有多可靠。Padhraic Smyth 的研究提供一個清楚的搜索問題：如何用 LLM calibration 找出「模型對自己有多確定」與「人類以為模型有多可靠」之間的錯配？他的研究長期連結機器學習、統計、時間序列、資料探勘與人機協作，最近也直接研究人類如何解讀 LLM 的信心表達。UC Irvine Donald Bren School 官方人物頁列出他是 Distinguished Professor、Hasso Plattner Endowed Chair in AI，以及 UCI Data Science Initiative 的領導者；他的研究網站則整理機器學習、AI、機率建模與 LLM 研究。本文以這個單一意圖為核心，說明校準、不確定性、人類心理模型與資料治理如何共同決定 agent 是否值得信任。

Padhraic Smyth 的核心問題：LLM 信心與人類信任為何會錯配？

Smyth 的研究不是單純追求模型在一組測試題上的正確率，而是把「模型的預測」和「使用者對預測的理解」放在同一個分析框架。這個差異在 LLM 特別明顯：模型可能給出正確答案，也可能自信地給出錯誤答案；更麻煩的是，長篇解釋往往讓人更相信它，即使解釋沒有提高正確率。可靠性因此不只屬於模型本身，也屬於模型、介面、使用者和決策流程的共同結果。

對產品團隊而言，這意味著不能用「回答比較像人」當成信任指標。Agent 的系統應保存模型內部或外部估計的置信度、證據品質、使用者看到的語句和最後的決策，檢查四者是否一致。若模型其實不確定，介面卻把答案包裝成斷言，系統就會製造一個 calibration gap。Smyth 的研究路線提供一個重要的產品問題：我們要校準的是模型分數、語言表達，還是人類的行動？答案通常是三者都要測。

What Large Language Models Know：把信心拆成可測量的差距

在What Large Language Models Know and What People Think They Know中，Smyth 與 Mark Steyvers、Heliodoro Tejeda 等作者研究兩種差距：模型對自己答案正確性的判斷，和人類從模型語言中推斷出的可信程度。研究指出，使用者往往高估 LLM 回答的正確性，而更長的解釋可能提高信心卻不一定提高準確率。這個結果把「解釋越多越透明」的直覺拆開來看：解釋可以增加理解，也可以增加錯誤的說服力。

對 LLM agent，可靠介面不應只顯示一個百分比，也不應用大量文字替代證據。更好的設計是把置信度來源說清楚：是模型內部校準、檢索結果的一致性、工具執行是否成功，還是人類標註的共識？不同來源有不同意義，不能混成一個漂亮分數。當置信度不足時，系統應該改變行為，例如要求使用者確認、縮小回答範圍、補做檢索或轉交人工，而不是只加一句「請注意可能有誤」。

校準不是附加功能，而是決策基礎設施

統計上的 calibration 關心的是：在一群被模型判定為 80% 可信的案例中，是否真的大約有 80% 正確。對 LLM 而言，這個定義要小心，因為答案可能有多種合理寫法，任務也可能包含開放式生成。Smyth 的研究提醒我們，除了模型的內部信心，還要測使用者是否能根據輸出做出正確的信任與懷疑判斷。兩個模型的數值校準相同，若一個模型的語氣更容易讓人誤判，實際風險仍然不同。

平台可以把校準拆成三層。第一層是任務層，針對選擇題、資料擷取、程式測試或工具成功與否定義可觀察的正確標籤。第二層是模型層，檢查分數、排名與錯誤類型是否穩定。第三層是互動層，讓真實使用者在看完回答後預測它會不會錯，再和實際結果比較。這樣才能知道問題是模型不會、模型不會表達，還是人類被介面誤導。

解釋長度與信任：把語言當成測量介面

LLM 的解釋通常很流暢，因此使用者容易把語氣、細節和因果連貫感當成證據。Smyth 與團隊的結果把這種心理現象量化：更長的解釋可能讓人更有信心，即使模型答案並沒有更準。對產品設計來說，這不是說解釋不重要，而是要把解釋的功能分清楚。它可以指出資料來源、列出假設、呈現計算步驟和標記不確定性；它不應該只用更多形容詞和推理句子來營造確定感。

一個可測試的介面可以提供「證據摘要」和「推理說明」兩個區塊。證據摘要列出檢索文件、工具輸出、時間與版本；推理說明只解釋系統如何把證據連到答案，並明確標記未驗證的假設。測試時讓使用者在不同介面版本下判斷答案是否可靠，才能知道哪一種設計降低了過度信任。這種人因評估是 LLM 基礎設施的一部分，不是上線後才做的 UX 裝飾。

從機率模型到大型模型：不確定性要有來源

Smyth 的研究背景包含機率模型、深度學習、時間序列與空間資料分析。這些領域共同處理「觀測不完整、未來不確定、樣本彼此相關」的問題。LLM 的幻覺也可以用這種角度重新描述：輸出不只是對或錯，還受到資料缺口、檢索覆蓋、語境衝突、模型版本與生成隨機性的影響。若系統只提供一個由模型自行產生的信心句子，使用者無法知道不確定性來自哪裡。

工程上可以把 uncertainty budget 拆成可管理的欄位。資料不確定性記錄來源新鮮度、缺失與衝突；模型不確定性記錄評估分布、採樣與版本；流程不確定性記錄工具是否成功、人工是否修改、外部系統是否改變。這些欄位不一定要全部暴露給一般使用者，但必須保存，讓高風險決策可以追查。當 agent 的答案被質疑，團隊應能回答「哪一個不確定性最可能造成錯誤」，而不只是重跑一次模型。

Human-AI complementarity：人和模型如何一起做得更好

Smyth 的研究網站把 human-AI collaboration 列為重要方向，探討人和模型如何學習合作而不是互相取代。合作的關鍵不是把所有工作平均分給人和模型，而是理解各自的失敗型態。模型擅長快速掃描大量資料、提出候選和找出模式；人類擅長設定目標、判斷價值、理解社會脈絡與處理例外。若模型對某一類案例特別不穩，系統就應該把這類案例路由給更有經驗的人，而不是繼續擴大自動化。

這個觀點可以直接轉成 agent 的 routing policy。先用歷史資料估計任務難度與模型可靠度，再為每個區段設定自動處理、抽樣審查、全量審查或拒答。路由規則要能隨著新資料更新，但不能讓模型自行修改自己的放行門檻。每次人工接管都保存原因與結果，回頭檢查是模型能力不足、介面誤導，還是流程設計不合理。這樣，人類回饋才會改善整個系統，而不是只替模型擦掉一次錯誤。

資料科學與 LLM：資料版本就是推理版本

Smyth 曾領導 UCI Data Science Initiative，也擔任 UCI Machine Learning Repository 的 Faculty Director。他的研究專案頁把資料探勘、時間序列、空間分析和 large language models 放在同一個研究地圖中。對 LLM 團隊而言，這種資料科學視角很實用：模型能力不只由權重決定，也由資料切分、標籤、索引、查詢與評估流程決定。

因此，檢索增強生成的版本控制不能只記錄向量資料庫的名稱。每一次回答都應知道使用哪一版文件、分塊器、embedding、索引、reranker、權限過濾和 prompt。當答案改變時，工程師才能判斷是模型更新、資料更新、檢索排序變了，還是使用者看到的證據變了。對資料品質的投資，往往比把 context window 再加長更能降低幻覺。

時間序列與事件預測：agent 不應把未來當成單一答案

Smyth 的研究也涵蓋事件序列與預測模型。時間序列任務的基本難題是，未來不是一個固定標籤，而是一組可能路徑；季節性、突發事件、資料延遲和非平穩性都會改變預測。把這種工作交給 LLM 時，模型可以協助解讀趨勢、生成情境和說明假設，但數值預測與區間不確定性應由專用模型或統計程序負責。

這個分工對營運 agent 很重要。若系統預測庫存、流量、能源或風險，輸出應包括區間、資料截止時間、情境條件與可逆行動。模型不能把一條最可能路徑寫成唯一未來；它應該列出哪些假設會讓結果改變，以及下一個觀測應該檢查什麼。這樣，agent 才能用預測輔助決策，而不是用自信的語句掩蓋變動性。

從 Netflix Prize 到現代評估：排行榜不是完整答案

Smyth 曾擔任 Netflix Prize 的學術顧問，也長期參與機器學習與資料探勘社群。排行榜能讓不同方法在一致條件下比較，但實際系統還需要看部署成本、資料漂移、延遲、公平性與使用者行為。LLM benchmark 若只追逐一個公開分數，團隊可能過度針對測試集，卻忽略真實使用者的誤解、工具失敗與更新後回歸。

更完整的評估應包括離線資料、線上流量、對抗案例、人工校準與長期監測。每次評估都記錄抽樣方式、指標定義、版本、其他行為與未觀測族群。尤其是人類信任研究，不能只在內部員工身上測試；不同背景、語言與任務經驗，會改變使用者如何讀取模型的語氣與證據。評估的目標不是證明模型永遠正確，而是找到系統在哪些條件下應該慢下來、尋求協助或拒絕行動。

把可靠性寫進 agent 的狀態機

一個實用的 agent 可以把每個任務分成提出、查證、執行、回報與升級五種狀態。提出狀態允許模型生成候選；查證狀態檢查來源、工具、型別與置信度；執行狀態只允許通過門檻的動作；回報狀態呈現證據和不確定性；升級狀態把高風險或矛盾案例交給人類。Smyth 對校準和人類心理的研究，能幫助團隊決定每個狀態應向使用者顯示什麼，而資料科學與機率模型則支援門檻的估計。

狀態機的好處是把「信任」變成可測試的流程。測試人員可以故意提供過期文件、互相矛盾的答案、工具超時、低置信度預測和長篇錯誤解釋，檢查 agent 是否正確停下或升級。每次狀態轉移都留下 log，包含 run ID、模型、資料、證據、使用者選擇和最後結果。這讓錯誤分析從一句「模型幻覺了」變成一個可以修復的路徑問題。

人類信任的公平性：不同使用者不應承擔同樣的誤導風險

模型語氣和介面設計可能對不同使用者造成不同影響。熟悉統計的人可能把「大概」視為不確定，一般使用者卻可能把長篇解釋當成權威；某些語言的模型可能更常使用肯定句，另一些語言則更常保守。若只在英文、單一族群或單一任務上測校準，系統就可能把不平等的誤導風險藏起來。

可靠 agent 應按語言、領域、任務熟悉度和風險等級檢查信任校準。介面要提供可理解而不誇大的證據，並允許使用者追問來源、要求重新檢查或選擇人工協助。高風險場景不能以「使用者已同意 AI」作為免責；系統設計者仍要負責確認使用者是否能看懂不確定性，並在必要時阻止自動決策。

公開證據的邊界：研究成果不等於每個產品宣稱

UCI 官方人物頁、Smyth 的研究網站、UCI Machine Learning Repository 與相關論文支持他在機器學習、統計、資料科學、人機協作與 LLM 信任研究中的公開角色。UC Irvine的學術環境也提供了跨電腦科學、統計與教育的合作背景。這些來源可以確認研究方向與出版脈絡，但不能把他曾任某個職務寫成目前仍在任，也不能把共同作者團隊的所有結果歸給個人單獨完成。

本文把校準、人類信任與資料治理延伸到 LLM agent，是根據公開研究提出的工程建議；它不代表 Smyth 已經替所有 agent 定義唯一的安全標準。讀者應回到原始論文和資料，確認任務設計、樣本、指標與限制，尤其不能把一個校準實驗直接推廣到所有模型、語言和高風險領域。

為什麼 Padhraic Smyth 值得進入 AI／LLM 名人堂

大型模型的下一個瓶頸不是只在訓練更大，而在於人類如何知道何時能信、何時要查、何時必須停止。Padhraic Smyth 把機率建模、資料科學、時間序列、人機協作和 LLM 信任放在同一個研究問題上：模型的能力與人類對能力的理解，是否彼此對齊？這個問題直接影響 agent 的產品介面、評估方法、資料管線與治理規則。

把他放進名人堂，代表我們重視一種不容易被 demo 看見的基礎設施：把不確定性量化，把信任誤差測出來，把資料版本和決策結果連起來，並在模型不可靠時設計可逆的人工介入。當 LLM 被放進醫療、教育、金融與公共服務，這些能力會比更長的回答或更華麗的解釋更能決定系統是否真的值得使用。

延伸閱讀與核對入口

• UCI ICS 官方人物頁：職涯、研究與目前學術身分。
• Padhraic Smyth 研究網站：研究興趣、出版與教學。
• Smyth Group Research Projects：人機協作、LLM、時間序列與機率方法。
• What Large Language Models Know and What People Think They Know：LLM 與人類信任校準。
• Nature Machine Intelligence 期刊頁：研究正式出版入口。
• Capturing Humans’ Mental Models of AI：人類對 AI 的心理模型。
• AI-Generated Product Description Bias：生成式 AI 偏見與評估。
• University of California, Irvine：學術機構入口。
• UCI AI in Science Institute：跨學科 AI 研究社群。
• Padhraic Smyth CV：學術履歷與研究職務時間線。