Patrick Wendell如何把Spark工程推進AI平台？從低延遲排程、Release到Mosaic AI

Q：Patrick Wendell 是誰？
A：他是 Apache Spark 核心貢獻者與 Databricks 工程領導者，關注叢集執行、效能與開源治理。

Q：Spark 為何能支撐 AI 管線？
A：它提供分散式資料處理、SQL、串流與機器學習整合，能把資料準備和模型工作流接起來。

Q：低延遲排程難在哪？
A：任務粒度、網路、shuffle、資源競爭與尾延遲會互相影響；單一平均值不能代表體感。

Q：Release 工程為何重要？
A：相容性、升級、回滾、依賴與安全修補決定企業能否長期運行，而不是只看新功能。

Q：如何設計可恢復的 Spark 任務？
A：保存 checkpoint、使用冪等 sink、監控 shuffle 與 executor 失敗，並測試重跑和部分恢復。

Q：GPU 與 Spark 整合要看什麼？
A：確認資料搬移、GPU 利用、記憶體、排程公平、驅動版本與工作負載是否真的受益。

Q：開源治理有哪些風險？
A：版本分歧、供應鏈、維護者負擔與安全修補延遲都要透過政策和 SBOM 管理。

Q：如何量測 Spark 平台？
A：看吞吐、p95/p99、shuffle、資源利用、故障恢復時間、成本與任務正確性。

Q：怎麼引用 Patrick Wendell？
A：分開引用 Apache 社群提交、論文、Databricks 文件與產品公告，標示版本與日期。