Michael Armbrust如何讓資料湖可被AI信任？從Spark SQL、DataFrame到Delta Lake

Q：Michael Armbrust 是誰？
A：他是 Spark SQL 與 Delta Lake 重要作者及 Databricks 早期技術領導者，專注資料系統與分析基礎設施。

Q：Spark SQL 解決什麼？
A：以 SQL、DataFrame 與 Catalyst 優化器統一結構化資料處理，讓分析與程式 API 共享執行引擎。

Q：Delta Lake 的核心價值是什麼？
A：在物件儲存上提供交易日誌、schema 管理、時間旅行與批次/串流整合，提升資料可靠性。

Q：Lakehouse 為何適合 AI？
A：訓練、特徵、評估與分析可共用治理與資料副本；仍需處理新鮮度、偏差與存取權限。

Q：如何避免資料湖品質失控？
A：建立 schema、檢查、血緣、owner、SLA、去重與回填流程，讓錯誤可定位、可回滾。

Q：查詢效能和成本怎麼平衡？
A：用分區、檔案大小、快取、壓縮與工作負載隔離優化，並追蹤 p95 延遲、掃描量與每次查詢成本。

Q：AI 資料治理要增加什麼？
A：記錄資料用途、授權、個資、訓練版本、刪除請求與模型輸出來源，讓模型可追溯。

Q：批次與串流整合有何風險？
A：事件時間、重複、遲到資料與 exactly-once 宣稱需在實際 sink 和故障情境中驗證。

Q：如何確認 Armbrust 的最新貢獻？
A：以 Spark、Delta Lake、Databricks 官方文件及論文版本交叉查證，不把產品行銷等同個人現任角色。