Frank Pasquale 為什麼說我們活在黑箱社會？從評分、搜尋到 AI 審計權

Frank Pasquale 為什麼說我們活在黑箱社會？從評分、搜尋到 AI 審計權

Frank Pasquale 最重要的提醒是，我們並沒有活在一個資訊充分公開的社會。相反地，個人被平台、金融機構、雇主與政府系統大量資料化、評分與預測；但這些機構如何理解我們、如何排序我們、又如何把分數變成機會與限制，往往很難被真正看見。

這就是他所說的「黑箱社會」。黑箱不只是程式碼沒公開，而是一整套不對稱的資訊秩序：人被要求交出資料、接受評分、承擔後果；掌握系統的人卻可以用商業機密、技術複雜度與制度分工，避免解釋自己如何做決定。生成式 AI 讓這個問題更迫切，因為系統不只在排序與評分，也開始替人生成答案、建議與行動路徑。

實體索引｜Frank Pasquale為什麼說我們活在黑箱社會？從評分、搜尋到AI審計權

• AI 與社會治理實體：Frank Pasquale為什麼說我們活在黑箱社會？從評分、搜尋到AI審計權；核對研究者、模型、資料、礦產、勞動、平台、評分、搜尋、公共服務、受影響群體與制度。
• 原文錨點：Frank Pasquale 最重要的提醒是，我們並沒有活在一個資訊充分公開的社會。相反地，個人被平台、金融機構、雇主與政府系統大量資料化、評分與預測；但這些機構如何理解我們、如何排序我們、又如何把分數變成機會與限制，往往很難被真正看見。 編輯插圖：計算、回饋與制度設計如何彼此連動。 這就是他所說的「黑箱社會」。黑箱不只是程式碼沒公開，而是一整套不對稱的資訊秩序：人被要求交出資料、接受評分、承擔後果；掌握系統的人卻可以用商業機密、技術複雜度與制度分工，避免解釋自己如何做決定。
• 權力脈絡：把資料攫取、資源開採、勞動、分類、評分、預測、正當程序、申訴與歧視後果分開，說明 AI 如何嵌入社會。
• 編輯界線：區分技術設計、公司商業模式、制度責任與研究批判，不把單一分數、搜尋結果或模型輸出寫成中立事實。

快速抓住這篇文章

• Frank Pasquale 是法律學者，長期研究 AI、演算法、資訊法與平台治理；代表作包括《The Black Box Society》與《New Laws of Robotics》。
• 黑箱不是只有源碼保密，也包括資料來源不透明、評分邏輯不可理解、責任被拆散，以及當事人無法有效挑戰結果。
• Pasquale 特別關注搜尋、金融與數位聲譽系統，因為它們會決定什麼被看見、誰看起來可信、誰獲得資源。
• 真正的問責不等於要求所有系統公開源碼；更重要的是讓高風險系統能被獨立審計、被影響者可取得理由與救濟。
• AI 治理的核心不是讓模型看起來更聰明，而是避免人類把無法解釋、無法申訴的判斷交給它。

背景與核心脈絡

Frank Pasquale 是研究人工智慧、演算法與資訊法的法律學者，現任 Cornell Tech 與 Cornell Law School 教授。他在 2015 年出版《The Black Box Society: The Secret Algorithms That Control Money and Information》，從數位聲譽、搜尋與金融三個領域分析：演算法如何在看似便利的服務背後，逐步成為分配機會、資訊與信任的制度力量。

Pasquale 的問題不是「演算法會不會出錯」而已。他更在意的是：一個系統能否在缺乏公共理解的狀態下，長期決定誰被看見、誰被信任、誰被排除？當公司掌握大量資料、使用者卻不知道自己被怎樣分析，市場與民主還能不能維持可被挑戰的公平？

這條脈絡接上了 Cathy O’Neil 對高風險模型 的批評，也延伸 Safiya Umoja Noble 對搜尋排序 的分析。Pasquale 的特殊之處，是把這些技術問題放進法律、商業機密與制度問責的框架裡。

黑箱社會的核心，是一面只能單向觀看的鏡子

在數位社會裡，個人愈來愈容易被看見：搜尋紀錄、購物行為、位置資訊、社群互動、付款資料、信用紀錄與裝置使用方式，都可能被轉換成可分析訊號。這些訊號被用來預測偏好、風險、消費能力與可信度。

但這種可見性通常不是對稱的。使用者很難知道資料被哪些第三方取得、哪些特徵被視為重要、模型怎麼推論、分數是否被其他機構採用，以及某個決定究竟由人、規則還是模型做出。人看不見系統，系統卻持續看見人。

Pasquale 用黑箱描述的，不只是技術複雜，而是一種權力結構。掌握資料與模型的一方可以詢問、分類與預測他人；被評分的一方卻缺少反向追問的能力。當這種不對稱進入信用、招聘、保險、平台排名與公共服務，資料不只是資訊，也會變成權力。

真正危險的黑箱，不是人不知道每一行程式，而是人連自己為何被這樣對待都無從查起。

商業機密不能成為高風險決策的免責盾牌

企業通常有合理理由保護某些技術細節、商業資料與安全機制。Pasquale 並不等同於要求所有公司把所有源碼公開。真正的問題是，當商業機密被用來完全阻斷外部檢查時，被影響的人可能既無法知道決定理由，也無法證明系統使用了錯誤或不公平資料。

高風險系統需要的不是表面透明，而是可問責性。這可以包括獨立審計、受監管單位的存取權、結果監測、群體差異檢查、申訴流程與在必要時暫停系統的權力。公開源碼有時有幫助，但如果資料、部署方式、商業規則與組織權力都不透明，只看程式仍不足以理解系統如何造成傷害。

這與 Timnit Gebru 對資料來源與資料集文件 的要求相連。模型是否公平，不能只看模型本身；還要看它學了什麼、在哪裡被使用、誰能監督、誰能提出異議。

搜尋、聲譽與金融：三種最容易被演算法改寫的信任

Pasquale 在《The Black Box Society》中聚焦搜尋、數位聲譽與金融，不是偶然。這三個領域都在處理信任：搜尋決定哪些資訊更值得先被看見；聲譽系統決定誰看起來可靠；金融模型決定誰值得獲得信貸、保險與資本。

這些判斷一旦被模型化，就容易被誤認為客觀。排名第一的內容看起來像最值得相信，較高的信用分數看起來像更可靠，平台推薦的工作者看起來像更好。但模型通常不是直接看見真相，而是用有限資料與商業目標近似某種判斷。

Noble 讓人看見搜尋結果如何分配可見性；O’Neil 則說明評分模型如何把代理變數變成機會門檻。Pasquale 把兩者放在同一張地圖上：當評分、排序與預測同時被私有化，資訊經濟就可能變成少數機構對多數人施加判斷的系統。

審計權比「看得懂模型」更接近真正的治理

很多人聽到演算法透明，就以為解方是讓每個使用者看懂模型。這在現實中不太可行。大型模型、金融評分與推薦系統往往非常複雜，即使公開技術文件，也不代表一般人能靠自己判斷它是否公平。

Pasquale 更值得重視的方向，是建立審計與專業中介。就像食安、醫療器材、金融與建築不可能靠每個消費者自己驗證，AI 也需要具備獨立性、能力與法律權限的監督機制。問題不是「所有人能不能看懂模型」，而是「是否有人能代表公共利益檢查模型」。

這種審計不該只檢查準確率。它還要問：模型用在哪裡？錯誤集中在哪些群體？被判斷的人能否更正資料？組織是否有替代流程？是否存在回饋迴路？當模型造成傷害時，誰有權要求停用？

《New Laws of Robotics》：AI不該把專業判斷變成對人的管理

Pasquale 在 2020 年出版《New Laws of Robotics: Defending Human Expertise in the Age of AI》，把討論從黑箱進一步推向專業與自動化。他關心的不是拒絕 AI，而是反對把人類專業降格成替系統背書的附屬角色。

在醫療、法律、教育、公共服務等領域，AI 可以幫助整理資訊、提示風險與減少行政負擔。但若機構把專業者變成只會照著模型決定、難以理解或推翻系統的人，AI 就可能不是輔助專業，而是把專業轉化成對人進行標準化管理的工具。

這和 Joseph Weizenbaum 的判斷邊界呼應：系統能提供協助，不代表應被授權替人作出涉及尊嚴、責任與權利的最終決定。專業者的重要性不只是比模型多一些知識，也在於能理解例外、承擔責任並對當事人說明理由。

對台灣讀者來說，AI治理的關鍵是能否要求理由與救濟

在台灣，AI 已逐步進入客服、金融、電商、教育、內容分發、視覺辨識與政府數位服務。對多數人來說，最實際的問題不是模型參數，而是當系統對自己做出不利判斷時，是否找得到真人、能否知道原因、能否修正資料、能否取得替代服務。

高品質 AI 治理應把這些權利做進流程：重要決定要保留可理解的理由；高風險結果要有人工覆核；申訴不能要求昂貴技術能力；外部單位要能審計；當系統明顯造成傷害時，機構必須有停止與回滾的能力。

這不是讓技術變慢，而是避免速度成為逃避責任的藉口。當系統愈有能力影響人，社會就愈需要能反向看見系統。

Pasquale 的審計權若要真正運作，還需要 Danielle Citron 所說的正當程序，讓當事人能取得理由與救濟；當黑箱延伸到內容排序與帳號治理時，Tarleton Gillespie 與 Kate Klonick 則能幫助理解：平台為何也需要被當成行使公共影響力的制度來檢視。

讀者常問

Frank Pasquale是誰？

Frank Pasquale 是研究人工智慧、演算法、機器學習與資訊法的法律學者，現任 Cornell Tech 與 Cornell Law School 教授。他的代表作包括《The Black Box Society》與《New Laws of Robotics》，長期關注搜尋、評分、金融與 AI 系統的問責問題。

什麼是黑箱社會？

黑箱社會指個人被大量資料化、評分與預測，但做出這些判斷的機構、模型與資料流程卻難以被看見或挑戰的狀態。黑箱不只是源碼保密，也包括資料來源、評分邏輯、商業機密與責任分工讓當事人無法了解或救濟。

演算法透明是不是公開源碼就夠？

不夠。源碼公開不會自動揭露訓練資料、部署方式、商業規則、錯誤分布與組織權力。高風險系統更需要獨立審計、影響評估、被影響者的理由取得權、資料更正與人工覆核，而不是只提供技術文件。

什麼是AI審計？

AI 審計是由具備權限與專業能力的單位，檢查系統的資料、目標、效能、群體差異、部署情境與實際後果。它不只問模型是否準，也問系統是否適合特定用途、是否有傷害、申訴是否有效，以及是否應被限制或停止使用。

AI可以取代醫師、教師或社工的專業判斷嗎？

AI 可以協助整理資訊、提示風險與減少重複工作，但高風險領域的最終判斷仍涉及脈絡、例外、責任與人的權利。若系統讓專業者無法理解或推翻建議，AI 就可能從輔助工具變成人類替它背書的管理機制。

收尾

Frank Pasquale 的價值，在於他拒絕把黑箱當成技術必然。複雜不等於不可問責，商業機密也不等於可以避開公共檢查。

當 AI 開始替人排序、評分與建議，真正重要的不是我們能不能完全看懂每一個模型，而是社會是否保留了反向追問的能力：誰在做決定？依據是什麼？我能否挑戰？出了問題，誰必須負責？

參考資料

• Frank Pasquale，《The Black Box Society: The Secret Algorithms That Control Money and Information》，Harvard University Press，2015。
• Frank Pasquale，《New Laws of Robotics: Defending Human Expertise in the Age of AI》，Harvard University Press，2020。
• Frank Pasquale、Danielle Keats Citron，〈The Scored Society: Due Process for Automated Predictions〉，《Washington Law Review》，2014。
• Frank Pasquale，〈A Rule of Persons, Not Machines: The Limits of Legal Automation〉，《George Washington Law Review》，2019。
• Margaret Mitchell 等，〈Model Cards for Model Reporting〉，FAT*，2019。