Joy Buolamwini 為什麼讓 AI 看見它的盲點？從 Gender Shades 到臉部辨識的演算法正義

Joy Buolamwini 為什麼讓 AI 看見它的盲點？從 Gender Shades 到臉部辨識的演算法正義

Joy Buolamwini 真正改變的，不是讓更多人知道 AI 可能出錯，而是讓人看見：系統錯在誰身上、錯誤被誰承擔、又有誰能決定這些系統是否應該被部署。她與 Timnit Gebru 的 Gender Shades 研究，讓商業人臉分析系統在不同膚色與性別群體上的表現差距，成為無法再被「平均準確率」掩蓋的問題。

這不只是演算法偏見的案例，而是一種更深的提醒：當技術把人轉成可辨識、可分類、可排序的資料時，它同時也在決定哪些差異值得被看見、哪些人可以被誤判、哪些後果會被當成可接受成本。Buolamwini 把這個問題稱為 coded gaze——編碼後的凝視。AI 看起來像在看所有人，實際上它看到的是被資料、標註與制度預先安排好的世界。

實體索引｜Joy Buolamwini為什麼讓AI看見它的盲點？從Gender Shades到臉部辨識的演算法正義

• AI 與社會治理實體：Joy Buolamwini為什麼讓AI看見它的盲點？從Gender Shades到臉部辨識的演算法正義；核對研究者、模型、資料、礦產、勞動、平台、評分、搜尋、公共服務、受影響群體與制度。
• 原文錨點：Joy Buolamwini 真正改變的，不是讓更多人知道 AI 可能出錯，而是讓人看見：系統錯在誰身上、錯誤被誰承擔、又有誰能決定這些系統是否應該被部署。她與 Timnit Gebru 的 Gender Shades 研究，讓商業人臉分析系統在不同膚色與性別群體上的表現差距，成為無法再被「平均準確率」掩蓋的問題。 編輯插圖：計算、回饋與制度設計如何彼此連動。 這不只是演算法偏見的案例，而是一種更深的提醒：當技術把人轉成可辨識、可分類、可排序的資料時，它同時也在決定哪些差異值
• 權力脈絡：把資料攫取、資源開採、勞動、分類、評分、預測、正當程序、申訴與歧視後果分開，說明 AI 如何嵌入社會。
• 編輯界線：區分技術設計、公司商業模式、制度責任與研究批判，不把單一分數、搜尋結果或模型輸出寫成中立事實。

快速抓住這篇文章

• Joy Buolamwini 是 AI 公平性研究者、Algorithmic Justice League 創辦人，也是《Unmasking AI》作者。
• 她與 Timnit Gebru 的 Gender Shades 研究顯示，商業二元性別分類系統在不同膚色與性別群體上的錯誤率存在顯著落差。
• 臉部偵測、臉部辨識與性別分類是不同技術任務；不能把一項研究結果簡化成對所有臉部技術的一句判決，但也不能因此忽略其高風險部署的共同問題。
• 平均準確率高，不代表每個群體都受到同等保護；高權力場景裡的少數錯誤，可能比低風險場景的大量小錯更嚴重。
• 演算法正義不只要求模型分數改善，也要求用途邊界、資料來源、申訴程序、人工覆核與被影響者的參與能被制度化。

背景與核心脈絡

Joy Buolamwini 是研究人工智慧、公平性與社會影響的電腦科學家，也是 Algorithmic Justice League 的創辦人。她的工作跨越研究、倡議、影像與公共溝通，目標並不是把 AI 留在工程師之間討論，而是把受 AI 影響的人重新放回技術決策的中心。

她最廣為人知的研究，是與 Timnit Gebru 共同完成的 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification。研究評估多個商業系統在以臉部影像進行二元性別分類時的表現，指出某些系統在較淺膚色男性臉孔上的錯誤較低，對較深膚色女性臉孔則出現更高錯誤率。

這項研究的重要性，不只是找出一組數字，而是改變了問題的提法。它不再只問「這個模型準不準」，而是問「它對誰準？它對誰不準？當它不準時，錯誤會造成什麼？如果系統被拿去影響招聘、執法、教育或公共服務，誰有能力拒絕或更正？」

先分清楚：臉部偵測、臉部辨識與性別分類不是同一件事

公共討論很常把所有「看臉的 AI」混成一種技術，但它們其實處理不同任務。臉部偵測是判斷影像中是否有臉；臉部辨識通常是試圖確認或比對某個人身分；性別分類則是從影像推測並標記某種性別類別。它們使用的資料、準確性、錯誤型態與社會風險並不完全一樣。

Gender Shades 研究的是商業系統的二元性別分類表現，不應被誇張成「所有臉部辨識技術都一樣失敗」的單一結論。但反過來說，這種區分也不能成為逃避責任的語言遊戲。只要系統被用來標記、追蹤、排除或影響人的權益，它就必須接受比一般消費功能更嚴格的檢查。

更關鍵的是，將人從臉部影像直接歸進二元性別類別，本身就帶有高度簡化。性別認同、外表、表現方式與生理特徵並不等同。即使模型在特定測試資料上提升準確率，也不代表它已經解決把複雜的人類身分壓縮成固定標籤的問題。

技術上的「看見」不等於理解；把人成功分進一個欄位，也不等於系統真的知道那個人是誰。

Gender Shades最重要的不是錯誤率，而是錯誤如何被不平等地分配

模型評估常喜歡用一個總分說話：準確率、錯誤率、F1 分數或排行榜名次。但 Buolamwini 與 Gebru 的研究提醒，總分可能掩蓋分布。某個系統平均表現很好，卻可能把錯誤集中在特定群體上；對被集中誤判的人來說，平均值不會帶來任何安全感。

這和 David Spiegelhalter 對平均值與分母的提醒完全相連。問「模型有多準」不夠，還要問「樣本怎麼分布」「哪一類錯誤最常出現」「錯誤是否在高後果情境中發生」。當系統只用於照片濾鏡，錯誤可能令人不快；當系統被用來影響身份核驗、福利資格、招聘或監控，錯誤就可能改變人能否獲得機會與保護。

因此，公平不應只被理解成讓每個群體的數字更接近。更重要的是，系統是否被用在不該由它決定的場景？是否有真人能處理例外？被系統誤判的人能否知道、反駁、修正，並得到及時補救？

Coded Gaze：AI不是沒有立場，它會繼承製作它的視野

Buolamwini 使用 coded gaze 這個概念，指出演算法系統會反映設計者、資料來源與制度環境的選擇。這不表示每一位開發者都刻意把偏見寫進程式，而是說任何系統都要在有限資料、有限欄位與有限目標下運作，因而不可避免地帶入某些視野與遺漏。

一個影像資料集收錄哪些臉、在哪些光線與設備下拍攝、如何標註、哪些群體樣本較少，會影響模型學到什麼；一個產品團隊把效率、準確率或成本放在什麼位置，也會影響它願意接受哪些錯誤。模型不是從真實世界自動長出來的，它是從一連串被做出的決定中長出來的。

這與 James C. Scott 對分類與治理的批評相連。為了管理複雜現實，制度會把人變成可比較資料；問題不在分類完全不能用，而在分類一旦被視為完整現實，就可能把不符合欄位的人排除在外。AI 放大了這種風險，因為它能以更快速度把分類轉成決策。

技術分數變好，不代表部署就變得正當

Gender Shades 發表後，業界對相關系統的測試與改進受到更多關注。這是重要變化，但不能把「某些群體的測試分數改善」直接等同於「問題已被解決」。因為部署問題不只在於模型錯誤，也在於系統是否應該被用來做某些事。

例如，若一項系統被部署在高度權力不對等的場景，使用者無法拒絕、無法得知被分析、無法要求覆核，即使模型準確率再高，也仍然可能造成重大權益風險。高分技術可能被用來加強監控，也可能讓人更難挑戰不透明決定。

這是 Joseph Weizenbaum 提出的責任問題在今日的延伸：技術上做得到，從來不等於社會就應該交給它做。準確性是必要條件，但不會取代同意、比例原則、申訴權、用途限制與公共監督。

演算法正義不是把公平變成KPI，而是讓受影響者能參與規則

當企業談 AI 公平性時，常常先想到一組評估指標：不同群體的錯誤率是否接近、模型是否通過偏見檢測、資料是否補足樣本。這些工作需要做，但它們只能處理部分問題。

Buolamwini 的工作更接近一種程序正義：被系統影響的人是否有機會知道系統存在？是否能理解它依據什麼？是否能在錯誤時提出異議？是否有真人有權推翻模型？社群是否能參與決定某種技術根本不該被部署？

這也與 Cass Sunstein 對選擇架構與平台治理的問題相連。系統不只在提供建議，它也會重塑人可以看見哪些選項、被怎樣分類、又需要付出多少成本才能拒絕。公平因此不能只在模型內部檢查，也要在制度外部被討論。

Joy Buolamwini與Timnit Gebru：一個從錯誤看見人，一個從資料追問責任

Buolamwini 與 Gebru 的合作，讓演算法公平性研究跨過一個關鍵門檻：它不只告訴工程師「再把模型做準一點」，而是要求人回頭看資料、評估、部署與權力如何彼此連動。

Gebru 推動資料集文件，讓資料來源、用途與限制留下可查證紀錄；Buolamwini 則把抽象偏差轉成容易理解的社會問題：當系統對某些臉看不清楚，這不是單純的 bug，而是某些人被技術世界看得較不完整。兩人的工作合在一起，提供了一條從資料責任走向演算法正義的路徑。

對台灣讀者來說，真正的問題是：誰可以拒絕被模型判斷

台灣的 AI 導入常聚焦於客服、自動化、視覺辨識、身分驗證、教育、零售與公共服務。這些應用未必都具有相同風險，但共同問題是：使用者知道自己正在被系統分析嗎？資料被用在哪裡？誤判後是否有明確的申訴與更正機制？

面對高後果用途，企業與機構應先做的不是追問「能不能上線」，而是追問「誰不該承擔這個錯誤」「有哪些人會被資料排除」「如果模型失敗，誰能按下停止鍵」。這些問題不會讓 AI 無法發展，卻能讓技術不必以部分人的不可見為代價。

Buolamwini 對「誰被系統看錯」的追問，也可以一路連到 Ruha Benjamin 對技術不平等的制度分析、Safiya Umoja Noble 對排序與可見性權力的批判，以及 Cathy O’Neil 對黑箱模型如何放大錯誤的提醒：公平不只是改善辨識分數，也要限制系統能對人做出什麼判斷。

讀者常問

Joy Buolamwini是誰？

Joy Buolamwini 是研究 AI 公平性與社會影響的電腦科學家，也是 Algorithmic Justice League 創辦人。她以 Gender Shades 研究、演算法正義倡議與《Unmasking AI》廣受關注，長期討論臉部分析、偏見與 AI 對公民權利的影響。

Gender Shades研究的是臉部辨識嗎？

它評估的是商業系統以臉部影像進行二元性別分類的表現。這與臉部偵測、身分辨識等任務不同，但都屬於廣義臉部分析技術。研究不能直接代表所有系統都一樣，卻清楚揭示評估時必須檢查不同群體的表現，而不是只看總分。

什麼是coded gaze？

Coded gaze 指演算法系統可能反映資料、設計者與制度環境中的既有偏好與盲點。它不是說每位工程師都故意加入偏見，而是提醒模型從資料與分類中學習時，也可能把世界原有的不平等與遺漏帶進新的技術決策。

模型準確率改善後，公平問題就解決了嗎？

不一定。準確率改善很重要，但公平還涉及系統是否適合被部署、使用者能否拒絕、錯誤是否集中在高後果場景、是否能提出異議，以及資料與決策權如何被分配。技術表現提升不會自動解決用途與權力問題。

企業導入臉部分析AI前應先檢查什麼？

至少要先確認用途是否必要、資料是否有正當來源、不同群體的錯誤是否被分別評估、是否有明確告知與拒絕方式、誤判後如何申訴與更正，以及高風險決定是否保留人工覆核。比起只看模型平均分數，這些條件更接近真正的安全與公平。

收尾

Joy Buolamwini 讓人重新理解，AI 的盲點不是一個等待修正的微小漏洞，而可能是某些人從一開始就沒有被系統好好看見。

演算法正義不是讓模型更像人，而是讓技術在面對人時，願意承認自己的限制、接受被挑戰，並把停止、修正與拒絕的權利留給真正承擔後果的人。

參考資料

• Joy Buolamwini、Timnit Gebru，〈Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification〉，Proceedings of Machine Learning Research，2018。
• Joy Buolamwini，《Unmasking AI: My Mission to Protect What Is Human in a World of Machines》，Random House，2023。
• Algorithmic Justice League，研究、倡議與教育資源。
• Timnit Gebru 等，〈Datasheets for Datasets〉，《Communications of the ACM》，2021。
• Margaret Mitchell 等，〈Model Cards for Model Reporting〉，FAT*，2019。