Olga Russakovsky 如何把 ImageNet、視覺公平與人本 AI 接到可靠 LLM？從資料治理到可審查模型

Olga Russakovsky 如何把 ImageNet、視覺公平與人本 AI 接到可靠 LLM？從資料治理到可審查模型

Olga Russakovsky 的研究把電腦視覺、機器學習、人機互動與公平問責放在同一個問題裡：人工智慧看到的世界，是否真的代表了它要服務的人。Princeton Computer Science 的官方人物頁介紹她是電腦科學系 Associate Professor，研究涵蓋 computer vision、machine learning、human-computer interaction 與 fairness、accountability、transparency；她的個人研究頁則說明 Princeton Visual AI Lab 與 AI4ALL 等工作。這條路線對 LLM 尤其關鍵，因為資料、評估與產品決策常常比模型架構更早決定誰會被看見、誰會被誤判。

Russakovsky 的貢獻不只是一個辨識器的準確率，而是把資料集、標註流程、基準競賽和實際使用情境連起來。當今天的模型可以讀圖片、寫摘要、挑選候選人或協助醫療判斷時，團隊必須同時問三件事：訓練資料是否充分且有權利使用，測試是否揭露不同群體的差異，使用者是否能理解模型的限制。若只追求一個漂亮的總分，系統很可能把不平等藏在平均值後面。

ImageNet：資料集本身就是 AI 基礎設施

ImageNet 對深度學習的影響，來自它把大量圖片、語意類別和評估規則組成一個可重用的共同基礎。Princeton 的歷史報導記錄了 ImageNet 如何從 WordNet 的語意分類出發，逐步形成大規模影像資料庫與辨識挑戰；ImageNet 官方網站則保存資料集、競賽與研究使用的入口。Russakovsky 在 Stanford 研究期間參與了資料整理與挑戰賽工作，讓研究社群可以用相同的資料與規則比較模型。

對 LLM 團隊來說，ImageNet 的第一個教訓是資料集不是一次匯入就結束的檔案。資料要有來源、授權、去重、標籤、版本和刪除機制；每次標註規則改變，都應留下差異與影響範圍。文字模型也需要相同的資料卡：文件從哪裡來、是否允許訓練、語言與地區分布如何、敏感資訊是否被遮蔽、哪些樣本只可用於評估。沒有這些記錄，模型再大也無法回答自己學到了什麼。

第二個教訓是基準會塑造研究方向。ImageNet 挑戰讓研究者有共同的目標，卻也可能讓團隊過度追逐一個排行榜。當 LLM 以單一總分衡量能力時，長文本、少數語言、罕見文化、無法回答的問題和實際延遲都容易被忽略。更好的做法是保留基準的可比較性，同時增加分層測試、真實工作流、錯誤案例和人工影響指標，讓排行榜只是起點而非終點。

資料中心的 AI：先確認樣本，再談模型

如果訓練資料把某些族群、職業、地區或生活情境描述得太少，模型就可能在真實世界中把缺失當成不存在。視覺資料的問題可能表現為物件辨識率差異，文字資料則可能表現為姓名、方言、法律術語或社群語境的錯誤。LLM 團隊應先做資料盤點，再決定要不要增加參數：看來源比例、語言、時間、地理、身份、標籤品質與重複率，並把不確定的樣本標出來，而不是把所有噪音混在一個大桶裡。

資料品質也涉及標註者。標註任務的說明、報酬、審核、分歧處理和安全保護會影響最後的標籤；同一張圖片在不同文化或專業背景下可能有合理但不同的解釋。系統要保存標註分布與爭議，而不是只留下一個被多數決選出的答案。對多模態 LLM，這些分歧可以轉成「需要澄清」或「允許多個答案」的測試案例，避免模型被迫產生唯一、肯定而錯誤的回覆。

公平不是單一數字：建立可拆解的基準套件

Princeton 對多維公平評估的研究指出，把公平壓縮成一個 leaderboard 數字可能造成社會傷害。不同任務對公平的要求不一樣：獎學金篩選、醫療分流、影像描述與內容推薦所涉及的風險、可接受錯誤和使用者期待都不同。評估應依情境拆解，讓人看見不同群體、不同錯誤類型和不同決策後果，而不是用一個平均比例宣布模型「公平」。

這個原則可以直接用在 LLM。對同一個模型，應分開測量拒答、引用、摘要、分類、工具操作與對話澄清；每項能力再按語言、地區、身份、專業程度、輸入長度和資料新鮮度分層。若模型在一般英文問答很穩，卻在少數語言的法律問題上常常編造，總分不能把這個風險抵銷。產品團隊要預先定義哪些錯誤屬於不可接受，哪些情況需要人工升級，以及不同群體是否承受不對稱的等待或拒絕。

多維基準還需要清楚的報告介面。每個分數要標示樣本數、信賴區間、資料版本與評估者；每個通過條件要附上代表性失敗案例。當兩個模型各自在不同群體表現較好時，決策者才能根據實際用途選擇，而不是讓單一排名決定一切。這種方法也讓模型更新更安全，因為團隊可以看見某一個切片是否退化，而不必等到線上事故發生後才追查。

REVISE 與資料檢查：把偏差變成可修復的工程問題

Princeton 的研究與人物報導提到 Visual AI Lab 建立 REVISE（REvealing VIsual BiaSEs）工具，用來分析視覺資料中的種族與性別假設。這類工具的價值不在於宣稱一個資料集可以被完全「去偏」，而在於把看不見的分布差異轉成可檢查的報告：哪些物件常和哪些身份一起出現，哪些群體在標註裡缺席，哪些影像描述可能把社會刻板印象當成事實。

對企業 LLM，資料檢查應在訓練前、微調前、上線前和更新後重複執行。檢查內容包括人物與地點的提及比例、敏感屬性的錯誤推斷、不同語言的拒答差異、來源網站的權利與時間分布，以及合成資料是否複製原有偏差。報告要連結到可採取的動作，例如補充某一類資料、移除重複來源、修改標註說明、增加護欄或把任務交給人工。若只產出一份漂亮的偏差圖，卻沒有修復責任人與回歸測試，工具就不會改變模型。

偏差也會在模型輸出後被放大。圖片描述可能把一個人的職業、情緒或性別寫得過於肯定；推薦系統可能因歷史點擊而讓少數內容更難被看見；招聘代理可能把履歷中的學校、地址或社團當成能力代理。多模態 LLM 應在高風險屬性上採取保守策略：沒有直接證據就不要推斷，需要身份相關資訊時要說明用途與權限，並提供人工覆核。輸出越容易影響機會、資源或尊嚴，越不能只依賴模型的語言流暢度。

人機互動：讓使用者看見模型的邊界

Russakovsky 的研究與人機互動相連，提醒我們模型公平不只發生在訓練管線。使用者如何理解分數、拒答、警告和推薦，會改變最後的決策。若介面只顯示「信心 92%」，使用者可能以為這是客觀機率；若介面能顯示資料來源、適用範圍、未覆蓋的群體和可追問的下一步，使用者才有機會把模型當成協作者而不是權威。

對話式 LLM 可以把不確定性轉成具體行為。當問題缺少地點或時間，模型先問澄清；當檢索結果互相矛盾，模型列出差異並請使用者選擇；當任務會影響醫療、金融或雇用，系統提示需要專業人員確認。這些設計不是把責任推回使用者，而是讓模型不在證據不足時假裝知道答案。介面也要保留拒答原因與替代路徑，讓人能判斷是權限、資料、政策還是模型能力造成限制。

使用者研究同樣要分層。不同年齡、語言、視覺能力和數位經驗的人，可能對相同提示做出不同理解；少數族群也可能承受更高的誤判成本。測試不應只請內部工程師按下「看起來不錯」，而要收集完成任務的時間、錯誤修正、信任校準、放棄率和人工求助。當模型更新後重新測量，團隊才能知道一個更高的 benchmark 分數是否真的改善了使用者的工作。

AI4ALL：人才與治理也是基礎設施

Russakovsky 與 Fei-Fei Li 等人共同創立 AI4ALL，Princeton 的官方介紹說明其目標是讓更多不同背景的人參與人工智慧。這不只是教育活動，也是一個模型治理的工程問題：設計資料、標註規則和產品的人若來自非常狹窄的群體，系統就可能忽略其他人的需求與風險。培養更多能提出不同問題、檢查不同失敗和參與決策的人，會直接提高模型的可用性。

團隊多樣性不能取代技術評估，但能改變問題發現的速度。產品審查應讓不同背景的人檢查提示、圖片、語音、拒答和錯誤訊息；高風險流程還要加入領域專家、政策與法律意見。每個問題都要進入追蹤系統，標上影響範圍、修復期限、驗證案例和最後決策。這種跨角色協作讓公平不再是某一位研究者的個人倡議，而是版本發布的必要條件。

從 ImageNet 到 LLM 資料卡

ImageNet 的歷史告訴我們，大規模資料能讓新一代模型發揮能力，但資料越大，治理責任也越大。今天的多模態 LLM 應為每個資料來源建立資料卡：收集目的、授權範圍、時間區間、地理與語言分布、敏感內容、刪除請求、標註品質、已知偏差和可接受用途。資料卡要與模型卡、評估卡和服務版本互相連結，讓一次輸出可以追溯到它使用的資料與政策。

資料卡還要描述「不知道什麼」。如果某個群體樣本太少，模型應避免在該領域給出肯定答案；如果圖片解析度不足，系統應要求更清楚的輸入；如果來源的授權狀態未確認，索引就不應把它當成可訓練或可引用內容。把缺口明確寫出來，能防止產品團隊把模型的沉默誤解成全面能力，也能讓下一輪資料收集有明確優先順序。

可回歸的評估與可逆的發布

每次 LLM 更新都應重跑一組固定且分層的回歸案例。案例包含一般成功、邊界拒答、少數語言、視覺遮擋、敏感屬性、引用衝突與工具失敗；每個案例保存預期行為，而不是只保存一個答案字串。評估結果要連結到模型、提示、檢索索引和政策版本，這樣才能知道是模型本身改變，還是上下游資料變動造成差異。

發布策略也要保留反悔的能力。先在離線資料檢查與人工審查通過後，用小比例流量觀察不同任務與群體；若出現不對稱錯誤、信任過度或延遲長尾，立即停止放量並切回上一版。回退後要保存事故樣本與決策理由，避免下一輪又重現同一問題。可逆性不是對研究缺乏信心，而是承認真實世界的資料、使用者和政策會持續變化。

給資料與模型團隊的實作檢查表

1. 每個資料來源是否有授權、版本、地區、語言、敏感內容與刪除機制？
2. 標註是否保存分歧、說明、審核者與不確定樣本，而不只留一個多數答案？
3. 評估是否按群體、語言、任務、風險與資料新鮮度分層，而不是只看總分？
4. 偏差檢查是否連到具體修復、責任人、期限與回歸測試？
5. 模型是否在沒有證據時避免推斷身份、能力、情緒或意圖？
6. 介面是否讓使用者看見來源、限制、不確定性、拒答原因與人工升級路徑？
7. 每次發布是否有小流量觀察、停止條件、備份版本與可逆回退？
8. 不同背景的研究者、領域專家和受影響使用者是否參與設計與驗收？

Olga Russakovsky 的研究提醒 AI 團隊，資料與公平不是模型完成後才加上的說明文字。ImageNet 顯示有組織的大規模資料能改變學習曲線；REVISE 和多維公平基準則提醒我們，資料的缺席、標籤的偏差與單一排行榜都會影響誰從模型得到好處。當 LLM 可以理解圖片、文字和人類意圖時，系統更需要把資料來源、錯誤切片、使用者理解和治理責任放進同一個工程閉環。

可靠的 AI 基礎設施不是讓每個人都得到同一個答案，而是讓不同情境下的人都能得到有根據、可質疑、可修正的協助。這需要資料卡、模型卡、分層評估、透明介面、人工覆核和可逆發布一起工作。當模型的能力與限制都能被看見，團隊才有機會把電腦視覺、生成式 LLM 和人本治理連成長期可維護的系統，而不是只在一次示範中看起來公平。

延伸閱讀：Princeton CS Olga Russakovsky 人物頁、Olga Russakovsky 個人研究頁、ImageNet 官方網站、Princeton 多維公平評估報導、Princeton 人本 AI 報導。