Bill Schmarzo的《AI & Data Literacy: Empowering Citizens of Data Science》於2023年出版，全書把AI和資料判讀從技術專業拉回一般公民能力。書中核心問題不是每個人都要會訓練模型，而是每個人都應理解資料如何蒐集、指標如何影響決策，以及AI出錯時誰能提出質疑。
生成式AI普及後，這套觀念更具體：模型可以快速整理和產生內容，使用者仍要檢查來源、樣本、指標、不確定性、隱私與受影響者的申訴權。AI Literacy的目的不是讓人相信或拒絕所有模型，而是讓人知道何時可用、何時需驗證、何時必須由人負責。
重點快讀
- 本書由Bill Schmarzo撰寫，2023年7月出版，第一版238頁。
- Citizen of Data Science指具備參與資料與AI決策基本能力的公民。
- 資料來源、Sampling和缺漏會決定結論範圍。
- Metric是代理，不一定等於真正價值。
- Goodhart風險發生在指標成為目標後被最佳化。
- 相關性不代表因果，預測也不代表可直接採取行動。
- AI Utility Function要清楚定義誰獲益、誰承擔成本。
- 高影響AI需要知情、申訴、人工覆核和責任Owner。
這本書適合誰？
《AI & Data Literacy》不是模型工程教科書。它使用案例、圖表和概念，面向一般工作者、學生、管理者、政策制定者和受到資料系統影響的使用者。
- 需要閱讀儀表板和分析報告的人。
- 準備導入AI的企業主管。
- 使用生成式AI產生內容的工作者。
- 關心隱私、倫理和公共政策的讀者。
- 想理解資料科學但不準備先學程式的人。
Citizen of Data Science是什麼？
Citizen of Data Science可以理解成有能力參與資料社會的人。你不必自己建立神經網路，但應能提出基本問題：
- 資料從哪裡來？
- 誰沒有被包含？
- 這個指標衡量什麼？
- 模型錯誤會影響誰？
- 使用者能否知道原因和申訴？
- 誰對最後決策負責？
這種能力不是降低專業門檻，而是讓專業系統接受更多可理解的監督。
資料來源決定你能說什麼
| 問題 | 需要確認 |
|---|---|
| 來源 | 官方紀錄、問卷、平台Log或第三方購買 |
| 期間 | 資料是否已過時 |
| 範圍 | 地區、族群、產品和使用情境 |
| 缺漏 | 哪些人或事件沒有被記錄 |
| 品質 | 重複、錯誤、缺值和測量方式 |
| 權利 | 是否有Consent和合法使用基礎 |
資料庫很大不代表代表性好。平台資料只反映平台上的行為，問卷則可能受到不回覆和題目設計影響。
Sampling為什麼重要？
- 方便取得的樣本不一定代表整體。
- 只分析活躍使用者會忽略離開的人。
- 只看成功案例會產生Survivorship Bias。
- 不同地區和語言不能直接合併。
- 小樣本的百分比容易大幅波動。
看到「80%使用者喜歡」時，要追問樣本數、抽樣方式、題目、時間和未回覆比例。沒有這些資訊，精確百分比也可能沒有判斷價值。
Metric和真正價值不同
組織需要指標管理複雜工作，但任何Metric都只是Proxy。點擊率可能代表興趣，也可能來自誇張標題；回覆速度可能提升，使用者問題卻沒有解決。
| 指標 | 可能想代表 | 可能被誤用 |
|---|---|---|
| Click-through Rate | 內容吸引力 | 點擊誘導 |
| 處理件數 | 生產力 | 製造大量低品質輸出 |
| 模型準確率 | 決策品質 | 忽略特定群體錯誤 |
| 平均等待時間 | 服務效率 | 隱藏極端P99 |
| 員工在線時數 | 投入程度 | 鼓勵表面忙碌 |
Goodhart風險
當指標被直接用作獎勵或處罰，它會從衡量工具變成被最佳化的目標。團隊可能提高數字，卻破壞原本目的。
goal: improve customer resolution
proxy: reduce average call time
optimized behavior: end calls quickly
result: unresolved issues increase- 同時使用品質、速度和風險指標。
- 保留人工抽查和使用者回饋。
- 監控指標改善後的副作用。
- 定期重新檢查Metric和目標關係。
相關性不等於因果
兩個變數一起變化，不代表其中一個造成另一個。AI和資料報告很容易把相關寫成因果，例如「使用AI的人績效更高」，但可能是高績效者本來就更願意使用新工具。
- 是否有第三個共同原因。
- 時間順序是否成立。
- 是否有對照組或自然實驗。
- 結果能否在其他群體重現。
- 機制是否合理。
模型可以幫忙提出假設，不應把觀察資料自動變成政策或管理命令。
不確定性和Confidence
預測模型和生成式AI都在不確定條件下輸出。可信系統要說明可能錯在哪裡，而非只給一個看似精確結果。
- 樣本誤差和Confidence Interval。
- 模型校準和不同群體表現。
- 資料分布是否改變。
- 缺少必要來源。
- 結果對Assumption的敏感度。
- 何時應拒答或轉人工。
生成式AI自報的「信心」未必經過校準。更可靠的是看來源、工具驗證和在固定測試集上的錯誤率。
AI Utility Function
Schmarzo強調AI Utility Function，要求組織在最佳化前先定義價值、成本和風險。模型不會自己知道什麼是「對組織和社會最好」。
utility =
benefit_to_users
+ operational_value
- error_harm
- privacy_cost
- unfairness
- human_review_cost- 誰獲得效益。
- 誰承擔錯誤。
- 短期和長期價值是否衝突。
- 效率是否犧牲公平和隱私。
- 哪些失敗不可用平均收益抵消。
隱私不是一個同意按鈕
- 資料是否為功能必要。
- 是否和其他資料組合成更完整輪廓。
- 保存多久、誰能存取。
- 是否用於不同於原始目的的分析。
- 使用者能否查看、修正和刪除。
- 不同意是否會失去基本服務。
單一位置或消費紀錄可能看似普通，與社群、工作和健康資料組合後，可能推斷出使用者未主動提供的敏感資訊。
申訴權和人工覆核
高影響AI決策不應只提供結果。受影響者需要知道如何提出異議，組織也要有具備權限的人重新查看資料和規則。
| 機制 | 目的 |
|---|---|
| Notice | 告知AI參與決策 |
| Reason | 提供可理解原因和資料 |
| Correction | 修正錯誤資料 |
| Appeal | 要求重新審查 |
| Human Review | 由有權限的人推翻模型結果 |
| Audit | 追蹤模型、規則和責任 |
人工覆核不能只是另一個人按下同意。Reviewer需要完整資料、時間和推翻系統的權力。
生成式AI時代怎麼使用這套框架？
- 確認模型回答依據哪些資料。
- 將事實、推論和建議分開。
- 檢查數字的來源、分母和日期。
- 辨認輸出是否只迎合目標指標。
- 對高影響內容要求引用和人工覆核。
- 不輸入不必要的敏感資料。
- 記錄最終決策Owner。
完整Decision Log和反例流程可閱讀AI推理怎麼輔助人類判斷？；檔案和Python分析可閱讀ChatGPT Advanced Data Analysis怎麼用？。
閱讀資料與AI說法的七個問題
- 資料是誰蒐集的？
- 樣本代表誰？
- 指標真正衡量什麼？
- 有哪些不確定和缺漏？
- 相關是否被寫成因果？
- 誰受益、誰承擔風險？
- 錯誤時能否申訴和修正？
常見問題
數據素養需要會寫程式嗎？
不需要。核心是理解來源、樣本、指標、不確定性和決策責任；程式能力是進一步工具。
生成式AI能當資料來源嗎？
它可以協助整理和搜尋，重要事實仍應回到可驗證原始來源。
AI準確率高就公平嗎？
不一定。平均準確率可能掩蓋特定群體錯誤，也不能回答隱私、申訴和傷害分配。
出版資料
- 書名：AI & Data Literacy: Empowering Citizens of Data Science
- 作者：Bill Schmarzo
- 出版社：Packt
- 出版：2023年7月，第一版，238頁
- Packt官方書籍頁
《AI & Data Literacy》留下的核心提醒，是資料與AI決策不能只交給專家或平台。一般人不必掌握全部技術，也需要有能力理解來源、質疑指標、看見不確定性，並要求高影響系統提供申訴和人工責任。
發表迴響