Abeba Birhane 為什麼說資料越大不一定越好？從 AI 資料集到稽核盲點的根本問題

Abeba Birhane 為什麼說資料越大不一定越好？從 AI 資料集到稽核盲點的根本問題

Abeba Birhane 最重要的提醒是，AI 的問題往往不是模型還不夠大，而是人們太快把世界交給資料集定義。當網路影像、語言、行為與關係被收集、標記、壓縮成訓練材料，系統看似獲得了更多知識，卻也可能把偏見、羞辱、暴力與錯誤分類一併放大。

她的研究迫使人回到一個比「模型準確率」更根本的問題：資料是怎麼來的？誰被納入、誰被忽略、誰被標錯？如果資料取得方式與分類規則本身有問題，後續再加上稽核、對齊或安全測試，也未必能補回最初被抹掉的脈絡。

實體索引｜Abeba Birhane 與 AI 資料集

• 人物與資料：Abeba Birhane、AI 資料集、標註者、研究者、模型、資料來源與受影響社群。
• 資料欄位：規模、品質、代表性、來源、授權、標註規則、去除項目、地域、語言與時間。
• 稽核盲點：資料越大不必然越好；重複、錯誤、偏見、缺席、不可追溯來源與不對稱權力都可能被總量掩蓋。
• 閱讀方法：不只問資料有多少，也要問誰被納入、誰被遺漏、誰負責標註，以及問題如何進入模型。

快速抓住這篇文章

• Abeba Birhane 的核心觀點是：更多資料不自動帶來更好的 AI；資料的來源、標籤、同意與脈絡，決定模型會如何理解世界。
• 她與 Vinay Prabhu 對大型影像資料集的研究指出，規模擴張會讓問題內容、失當標籤與不合理分類更難被發現與處理。
• 人類行為、情緒與社會關係具有高度情境性，不能因為能被量化，就被當成可穩定預測的自然事實。
• AI 稽核不能只測輸出結果，也要回看資料取得、分類方式、部署用途與被影響者是否有發言與救濟空間。
• 資料治理真正需要的，不是更大的資料庫，而是更清楚的用途邊界、更少不必要的提取，以及能夠拒絕與修正的制度。

背景與核心脈絡

Abeba Birhane 是研究人工智慧、資料集與社會權力關係的認知科學研究者。她的工作跨越資料集稽核、演算法偏誤、複雜系統與 AI 問責，關心的不是如何替模型加上一層表面倫理，而是模型如何從一開始就被資料、分類與制度條件塑造。

2020 年，她與 Vinay Prabhu 發表〈Large Image Datasets: A Pyrrhic Win for Computer Vision?〉，檢視大型影像資料集的來源、標籤與倫理問題。研究將焦點放在一個常被忽略的矛盾：資料集越大，研究者越容易宣稱模型更具普遍性；但資料規模愈大，也愈難確認影像是否取得正當、分類是否合理、當事人是否被不當暴露。

這條脈絡與 Timnit Gebru 對資料集文件的要求相通：資料不是乾淨的原料，而是帶著來源、目的、限制與權力關係的歷史紀錄。Birhane 再往前推一步，提醒人們若不先處理資料化本身的問題，模型再怎麼精緻，也可能只是更有效率地重複舊有傷害。

資料越大，為什麼不一定離真實越近？

大型資料集帶來的直覺很強：樣本越多，模型應該越全面、越少偏差。但這個直覺忽略了一件事，資料不是自然長出來的。它由誰收集、以什麼標準標記、哪些內容被保留、哪些人無法拒絕被收錄，都會直接影響模型後來學到什麼。

當資料集從數百萬筆擴張到數十億筆，問題不會因為平均值變大而自動消失。錯誤標籤、歧視性詞彙、偷拍影像、色情內容、缺乏脈絡的描述與不對等的文化分類，反而更容易被稀釋成「可接受的雜訊」。但對被錯誤命名、被未經同意收錄的人來說，那不是雜訊，而是具體的傷害。

Birhane 的重要判斷因此不是反對資料研究，而是反對把「更多」誤認成「更好」。資料規模可以增加覆蓋面，卻不會自動改善同意、尊重、代表性與用途正當性。真正成熟的資料治理，必須同時問資料能不能用、該不該用，以及用在這個地方是否合理。

資料集的問題不只在於它漏掉什麼，也在於它把誰、以什麼方式，變成了可被模型處理的對象。

分類不是描述世界，而是在決定世界可以被怎麼看

模型要運作，必須先把世界切成欄位：這是人、那是物；這是風險、那是正常；這是快樂、那是憤怒；這是相關、那是不相關。這些分類看起來像技術前置作業，實際上卻包含大量價值判斷。誰定義類別？標註者理解的語境是否能代表被標註者？某個詞在不同文化中是否具有完全不同的重量？

Birhane 對「自動化模糊性」的批判，正是提醒人類社會不是一套可以被完整壓縮成標籤的穩定系統。情緒、意圖、性格、犯罪風險、工作潛力與社會關係，都深受情境、歷史與權力影響。系統若把這些複雜事物當成可精準預測的特徵，往往不是看得更清楚，而是用更有權威感的方式忽略了脈絡。

這與 James C. Scott 對分類治理的提醒非常接近：制度為了管理而把複雜生活變得可讀，但一旦把可讀性誤當成真實，人就容易被資料欄位取代。AI 的風險往往不在模型完全失效，而在它看起來足夠合理，讓人忘了資料格式本身已經排除了大量現實。

稽核若只看模型輸出，容易錯過傷害的起點

當 AI 出現偏差，組織常先想到重新測試模型、調整閾值或補更多資料。這些做法有時有用，但 Birhane 的研究提醒，問題可能比輸出結果更早開始：資料是否透過不合理方式取得？標籤是否本身帶有侮辱或刻板印象？系統是否把不應被預測的事情變成預測目標？

這也是她與 Deborah Raji 共同參與 AI 稽核研究的重要原因。稽核不是一個只靠工具完成的技術流程；它還取決於誰設定問題、誰能取得資料、誰有權要求暫停部署，以及受影響者是否有機會指出系統沒有看見的傷害。

若稽核只是檢查幾個既定指標，卻不允許人質疑資料來源與用途，那它可能只會讓一個原本有問題的系統變得更容易被信任。真正有意義的稽核，必須保留「這個系統是否根本不該這樣使用」的選項。

資料取得的代價，不能被「公開可抓取」四個字掩蓋

網路上找得到的內容，常被誤解成可以自由拿來訓練模型。這種想法把技術可取得性當成倫理正當性：因為能下載、能爬取、能處理，所以就被視為可以使用。但資料可能來自私人生活、脆弱社群、未成年人、被偷拍或被羞辱的情境；它也可能在原始發布脈絡中有特定目的，卻在訓練資料集中被抽離、重複與再利用。

Birhane 的資料集研究讓人看到，資料治理不能只問是否符合最低限度的存取規則，也要問當事人是否可能理解資料會被放進什麼系統、未來被用於什麼目的，以及是否有退出與刪除的機會。這一點與 Nick Couldry 對資料殖民的分析相連：當生活被預設為可持續提取的原料，所謂便利往往掩蓋了誰失去控制、誰獲得長期價值。

對台灣讀者來說，最該警覺的是「看似客觀」的自動分類

台灣的企業、學校、媒體與公共機構正越來越常使用自動分類：內容推薦、客服分流、履歷篩選、詐欺風險、影像辨識、學習分析與身分驗證。這些系統最容易被信任的原因，正是它們看起來比人更一致、更快速、更沒有情緒。

但 Birhane 的提醒是，一致不等於公平，快速不等於理解。只要分類目標不合理、資料代表性不足、語境被壓縮，系統就可能穩定而有效率地重複錯誤。對使用者而言，真正重要的是能否知道自己被如何分類、資料是否可更正、是否能要求人工覆核，以及在高影響決定中是否有不使用自動化判斷的替代路徑。

從 Birhane 的資料集批判繼續讀，Timnit Gebru 提供資料來源與限制的文件框架，Deborah Raji 把測試推向稽核與制度責任，Kate Crawford 則讓人看見資料背後的勞動、資源與供應鏈。這三條線共同指出，資料不是模型的背景，而是 AI 權力真正開始運作的地方。

讀者常問

Abeba Birhane是誰？

Abeba Birhane 是研究人工智慧、資料集與演算法問責的認知科學研究者。她關注大型訓練資料集、分類系統與社會權力如何互相影響，並主張 AI 治理必須從資料來源、用途與被影響者的權利開始處理。

為什麼大型資料集可能有問題？

資料規模變大時，可能同時帶進更多錯誤標籤、失當內容、缺乏同意的影像與文化偏差。大量資料不會自動修正取得方式與分類問題，反而可能讓問題因為太大、太複雜而更難被發現與處理。

什麼是自動化模糊性？

這裡指的是把原本高度情境化、模糊而多變的人類現象，例如情緒、意圖、人格或社會風險，當成可以穩定分類與精準預測的資料問題。系統可能產出看似明確的分數，但分數背後往往省略了真正重要的脈絡。

資料公開，就代表可以拿來訓練AI嗎？

不必然。技術上可取得，不等於倫理上適合再利用。資料可能涉及私人生活、脆弱群體、未成年人或特定發布脈絡；負責任的治理還要考慮同意、用途、退出權、刪除機制與可能造成的傷害。

企業如何改善訓練資料治理？

應先定義必要用途與禁止用途，記錄來源、授權與限制，測試不同群體與情境的影響，讓高風險資料可被移除與更正，並把稽核設計成能改變產品決策的流程。最重要的是，不要把「資料越多越好」當成預設前提。

收尾

Abeba Birhane 的價值，在於她讓人看見 AI 最容易被忽略的起點：資料不是世界本身，而是有人選擇如何把世界整理成機器能理解的樣子。

當資料集被當成理所當然的基礎設施，最重要的工作不是只讓模型更會回答，而是保留人們拒絕被收集、反駁被分類、修正被誤讀的權利。

把資料集批判轉成可執行的供應鏈閘門

Birhane 的研究對工程團隊最實際的意義，不是要求每個資料集都先達到抽象的完美，而是把過去被視為研究註腳的問題，改成會阻止系統往下一階段移動的閘門。資料進入訓練前，團隊至少要能回答來源、授權、蒐集目的、標註規則、涵蓋與缺席群體、敏感內容以及刪除機制；若其中一項無法回答，就不能只用「資料量很大」作為繼續使用的理由。WACV 收錄的官方論文頁把大型影像資料集的同意、標籤與有害內容問題放進可檢查的研究框架，重點正是規模不能抵銷來源責任。

第二個閘門應放在分類與標註設計。團隊不能只抽查標註正確率，還要記錄類別由誰定義、哪些文化或社會脈絡被壓縮，以及標註者遇到模糊案例時能否拒答。對情緒、人格、風險與社會身分這類高度情境化的目標，最重要的測試可能不是把準確率再提高一點，而是確認這個目標是否根本不適合被穩定預測。Birhane 的UCD 博士論文典藏頁把這個問題連回複雜人類行為與機器預測的科學限制，提醒評估者不要把輸出分數誤認為對人的完整理解。

第三個閘門在部署後。組織要追蹤哪些錯誤集中出現在特定群體、資料分布如何漂移、申訴是否能回到資料與標註層修正，而不是只調整模型門檻。若當事人要求移除資料，系統也必須知道該資料出現在哪個版本、衍生出哪些訓練產物，以及重新訓練或停用會由誰決定。這種可追溯性會增加成本，卻能避免團隊在事故發生後才發現自己根本不知道模型學了什麼。

實務上可以把資料治理拆成一份會持續更新的責任帳本：每次新增來源都附上用途與禁止用途，每次改動分類都留下決策者與反對意見，每次發現傷害都記錄修正期限與驗證方式。這樣做不是把倫理變成表格，而是讓工程、法務、產品與受影響者能對同一組證據討論。Birhane 的核心提醒因此可以化成一個明確停線條件：若資料來源、分類理由與退出路徑無法被說明，模型就不應因為效能漂亮而自動取得部署資格。

參考資料

• Vinay Uday Prabhu、Abeba Birhane，〈Large Image Datasets: A Pyrrhic Win for Computer Vision?〉，WACV，2021。
• Abeba Birhane，《Automating Ambiguity: Challenges and Pitfalls of Artificial Intelligence》，博士論文，2022。
• Abeba Birhane、Ryan Steed、Victor Ojewale、Briana Vecchione、Inioluwa Deborah Raji，〈AI Auditing: The Broken Bus on the Road to AI Accountability〉，2024。
• Victor Ojewale、Ryan Steed、Briana Vecchione、Abeba Birhane、Inioluwa Deborah Raji，〈Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling〉，2024。
• Inioluwa Deborah Raji 等，〈Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing〉，FAT*，2020。