Arvind Narayanan 為什麼說 AI 最怕被誤用？從預測迷思到真實世界的評估

Arvind Narayanan 為什麼說 AI 最怕被誤用？從預測迷思到真實世界的評估

Arvind Narayanan 真正要拆解的，不是 AI 本身，而是人們把不同技術混成同一種神奇能力的習慣。能摘要文件、生成圖像、分類資料、預測未來、代替人做判斷，聽起來都叫 AI；但它們的可靠性、可驗證性與失敗代價完全不同。當企業把一段流暢展示、一次 benchmark 高分，直接翻譯成「這套系統能預測人或替人負責」，誤用往往就從這裡開始。

Narayanan 與 Sayash Kapoor 在《AI Snake Oil》中提出的核心不是反對使用 AI，而是要求使用者先判斷：這到底是可以被清楚驗證的資訊處理工具，還是被包裝成能預測個人未來、替代專業判斷的高風險系統？越會影響人們的工作、權利、醫療、教育、法律或財務，越不能只相信展示效果，而要回到真實環境中的證據。

實體索引｜Arvind Narayanan為什麼說AI最怕被誤用？從預測迷思到真實世界的評估

• AI 研究與治理實體：Arvind Narayanan為什麼說AI最怕被誤用？從預測迷思到真實世界的評估；核對研究者、模型、資料、benchmark、成功率、可重現性、部署環境與受影響群體。
• 原文錨點：Arvind Narayanan 真正要拆解的，不是 AI 本身，而是人們把不同技術混成同一種神奇能力的習慣。能摘要文件、生成圖像、分類資料、預測未來、代替人做判斷，聽起來都叫 AI；但它們的可靠性、可驗證性與失敗代價完全不同。當企業把一段流暢展示、一次 benchmark 高分，直接翻譯成「這套系統能預測人或替人負責」，誤用往往就從這裡開始。 編輯插圖：計算、回饋與制度設計如何彼此連動。 Narayanan 與 Sayash Kapoor 在《AI Snake Oil》中提
• 評估脈絡：把實驗分數、真實任務、誤用、可靠性、公平、資料分布與制度後果分開，說明高分為何不等於可安全使用。
• 編輯界線：區分研究結果、工程限制、政策選擇與推論，不把單一 benchmark 或模型輸出寫成普遍能力。

快速抓住這篇文章

• 「AI」不是單一能力。資訊整理、內容生成、未來預測與代理執行，需要完全不同的證據標準。
• 最容易被過度承諾的通常是預測型 AI：它試圖推測誰會離職、違約、犯罪、患病或表現更好，但這些結果往往難以在新環境中穩定驗證。
• benchmark 高分只能說明模型在特定測驗上的表現，不能直接證明它能在真實工作流程裡可靠地判斷或承擔責任。
• 生成式 AI 可用於草稿、摘要、翻譯初稿與資訊整理；高風險場景則必須保留來源查核、人類覆核與可追溯責任。
• AI agent 不應只看一次成功率，也要看穩定性、成本、權限邊界、可回復性與失敗後的傷害。

背景與核心脈絡

Arvind Narayanan 是研究電腦科學、隱私、機器學習與 AI 評估的學者。他與 Sayash Kapoor 共同經營「AI Snake Oil」計畫，也合著同名著作，長期分析企業、媒體與研究社群如何把 AI 的局部進步，誤說成能全面取代人類判斷的技術革命。

他們的切入點很實際：與其爭論 AI 到底聰不聰明，不如先問一項主張是否能被驗證。假如系統說能替企業排序履歷、預測學生是否會輟學、判斷誰可能違約，真正要看的不是 demo 多流暢，而是它能否在新人群、新環境與長時間使用下維持可靠，並證明自己真的比合理替代方案更有用。

這條問題線與 David Spiegelhalter 對假精確的提醒、Amandalynne Paullada 對 benchmark 的批判，以及 Deborah Raji 對部署後責任的要求相連。它們共同反對一種過度簡化的推論：模型在某個測驗表現好，所以它應該被信任來決定人的未來。

先分清楚：資訊處理、生成、預測與代理執行不是同一件事

有些資訊處理任務相對容易評估。例如，將固定格式文件分類、從欄位抽取資料、找出重複內容，只要正確答案相對清楚，就能用具體測試確認效能。這類工具仍可能出錯，但團隊比較有機會知道它在哪裡錯、錯多少、如何修正。

困難出現在系統被要求做更接近判斷的工作：誰比較適合一份工作、哪個病人更可能惡化、哪個客戶值得信貸、哪名學生需要被介入。這些問題不是只有資料不夠，而是未來本來就受到大量看不見的條件影響。系統即使能從過去資料找出關聯，也不代表它知道一個人接下來會怎麼做。

一個系統能整理過去，不表示它有資格替人決定未來。

預測型AI最危險的地方，是它看起來像在看見未來

預測型 AI 的吸引力很大。它承諾從履歷、消費、互動、影像、病歷或過去紀錄中找到模式，讓組織更早知道誰有風險、誰值得投資、誰需要被關注。但這類系統很容易把過去的結果當成未來的真相。

過去資料不是中立的。它可能記錄了誰比較容易得到機會、誰更常被監控、誰因制度障礙留下較差紀錄。模型把這些結果學成預測訊號時，不一定是在發現能力或風險，也可能是在把既有的不平等重新包裝成看似客觀的分數。

這正是 Solon Barocas 所說的差別影響問題：即使系統不直接讀取敏感欄位，也可能透過其他資料保留相同的社會痕跡。對使用者而言，最重要的不是模型宣稱自己多準，而是它是否被允許用不確定的預測，影響人取得工作、服務、醫療、信貸或公共資源。

benchmark高分，不能直接翻譯成真實世界能力

大型語言模型經常在考試、問答、程式題或專業測驗上取得亮眼分數，因而引發「它已能取代專家」的想像。Narayanan 的研究提醒，這種推論中間跳過了最重要的一步：測驗到底測到什麼？

模型可能從訓練資料中見過近似題目，也可能用表面模式取得正確答案。真實工作通常不是一題一題獨立作答，而是要處理模糊資訊、例外情況、溝通關係與不確定後果。benchmark 可以提供線索，但若沒有貼近實際任務、實際使用者與實際失敗情境的評估，它很容易只是一張漂亮的成績單。

Emily M. Bender 對語言模型的批判正好補上這一點：文字生成的流暢，不等於理解世界。越高影響的工作，越不能用單一分數代替可被檢查的實務證據。

生成式AI可以幫忙，但不能把責任一起外包

Narayanan 並不否認生成式 AI 的實用性。對草稿、摘要、翻譯初稿、檢索輔助、程式範例與文字整理來說，語言模型可以減少一些重複工作，也能幫助使用者快速形成第一版內容。

但只要任務涉及醫療、法律、金融、教育評量、就業決定或個人權益，使用方式就必須改變。系統輸出需要來源、查核與人工覆核；使用者也必須知道，模型可能用流暢語氣掩蓋不確定、編造不存在的資訊，或忽略關鍵脈絡。

真正負責任的部署，不是讓人類在流程最後替模型背書，而是先把模型放在適合的位置：可驗證的工作交給工具加速；需要專業判斷、對人有重大後果的工作，仍要保留人類決策、理由說明與救濟程序。

AI agent要看可靠性，不是只看一次成功率

近年 AI agent 被期待能自己瀏覽網頁、操作軟體、完成多步任務。這類系統的風險比一般聊天機器人更高，因為它不只提供文字，而是可能真的改變檔案、發送訊息、執行交易或影響工作流程。

Narayanan 與合作者對 agent 評估的研究指出，只看某個 benchmark 的成功率並不夠。使用者還需要知道它是否穩定、成本是否可控、遇到輕微提示或環境變化會不會失效、是否過度依賴測驗捷徑，以及失敗後會不會造成難以復原的結果。

若一個系統在大多數情況下完成任務，但少數錯誤會發生在付款、帳號權限、對外發信或資料刪除，組織就不能只看平均成功率。越高影響的工作，越應優先設計權限邊界、確認步驟、可回復機制與人工接手點。

對台灣讀者來說，採用AI前要先問「怎麼證明它真的有用」

台灣的企業與內容團隊正在快速導入生成式 AI、客服機器人、流程代理與風險模型。最容易犯的錯，不是用工具，而是用一段展示、一次試跑或供應商的 benchmark，直接取代對真實效益的驗證。

較好的做法是先把任務拆開：這是能被明確驗證的資訊處理，還是涉及預測與判斷？錯誤會造成什麼後果？能否用小規模、真實資料、可回復的流程先測？是否需要保留人工審核？如果系統出錯，誰能發現、誰能修正、誰會對外負責？

從 Arvind Narayanan 的評估觀點繼續讀，Emily M. Bender 說明流暢輸出為何不等於理解，Amandalynne Paullada 追問 benchmark 如何塑造能力想像，Deborah Raji 則要求測試結果能真正影響部署決策。三篇一起讀，能把「AI 很厲害」拆成更有用的問題：它在哪些任務有證據？又在哪些任務不該被信任？

讀者常問

Arvind Narayanan是誰？

Arvind Narayanan 是研究電腦科學、隱私、機器學習與 AI 評估的學者。他與 Sayash Kapoor 合著《AI Snake Oil》，主張大眾應區分不同 AI 任務的能力邊界，特別警惕未經充分證據支持的預測型與高風險 AI 主張。

什麼是AI Snake Oil？

這個說法不是指所有 AI 都沒有價值，而是指某些系統被宣傳成能做到它其實無法可靠完成的事，例如準確預測個人未來表現、替代高風險專業判斷，或把 benchmark 高分直接包裝成真實世界能力。

預測型AI為什麼特別需要小心？

它依賴過去資料推測未來，但過去資料可能反映制度偏差、資源差異與被監控程度。當預測被用來影響招募、信貸、教育、醫療或公共服務，錯誤不只是數字問題，也可能變成當事人失去機會、被額外審查或難以申訴。

benchmark高分能證明AI可以取代專家嗎？

不能直接證明。benchmark 只能顯示模型在特定題目與評分規則下的表現；專業工作還包含處理例外、理解脈絡、與人溝通、承擔責任與面對新情況。真正的評估必須貼近實際任務與使用環境。

AI agent可以直接交給它做事嗎？

低風險、可回復的任務可以逐步嘗試；但涉及付款、帳號權限、對外發送、資料刪除或高影響決策時，應保留確認步驟、權限限制、操作紀錄與人工接手。判斷 agent 是否可用，不能只看一次成功，而要看它如何穩定地失敗與被修正。

收尾

Arvind Narayanan 的價值，在於他把 AI 討論從「相信或不相信」拉回「證據夠不夠」。

真正成熟的 AI 使用，不是把每一次技術展示都當成未來已經到來，而是知道哪些任務值得交給工具，哪些判斷仍需要人、程序與責任留在現場。

參考資料

• Arvind Narayanan、Sayash Kapoor，《AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference》，Princeton University Press，2024。
• Sayash Kapoor、Peter Henderson、Arvind Narayanan，〈Promises and Pitfalls of Artificial Intelligence for Legal Applications〉，2024。
• Sayash Kapoor、Benedikt Stroebl、Zachary S. Siegel、Nitya Nadgir、Arvind Narayanan，〈AI Agents That Matter〉，2024。
• Inioluwa Deborah Raji、Emily M. Bender、Amandalynne Paullada、Emily Denton、Alex Hanna，〈AI and the Everything in the Whole Wide World Benchmark〉，2021。
• Arvind Narayanan、Sayash Kapoor 等人關於 AI 評估、可靠性與真實世界部署的相關研究。