AI Agent POC 成功後怎麼上線？Production、監控與 Incident Response 清單
AI Agent POC 成功，不等於可以直接正式上線。Production 前至少要把核准範圍、人工接管、監控訊號、事件分級、回滾方式與回歸測試寫清楚；只有在高風險副作用被限制、結果可以驗證、責任人已具名時，才適合從 Limited Go 逐步擴大。
如果你在準備 AI Agent 上線，這頁整理 Production 前後的 AI Agent 監控、Incident Response、回滾與人工接管門檻。
本頁唯一責任：承接企業 PoC 驗收之後的 Production、Monitoring、Incident Response 與 Regression。PoC 的 KPI、測試案例與 Go／No-Go 請先看 AI Agent POC 驗收主頁。
從 PoC 到 Production，中間不是一個按鈕
PoC 驗收通過後，建議拆成四個可回復的階段：
- Limited Go：只開放固定資料、角色、工具與小量流量。
- Controlled Production：保留人工核准、例外佇列、每日檢查與停機條件。
- Expanded Production：品質、風險與人工負擔持續符合門檻後才擴量。
- Continuous Verification：模型、Prompt、工具、資料與權限每次變更都重新驗證。
正式上線前的 Go／No-Go 門檻
| 門檻 | Go 條件 | No-Go 訊號 |
|---|---|---|
| 任務結果 | Verified Task 定義清楚，外部結果可讀回確認 | 只依 Agent 自述「完成」 |
| 資料與身份 | 資料 owner、版本、可讀範圍與 Agent 身份已記錄 | 共用帳號或權限無法追溯 |
| 副作用 | 寄信、付款、發布、刪除等高風險動作需要人工批准 | Agent 可直接執行不可回復動作 |
| 監控 | 有成功率、Critical Error、人工接管、延遲、成本與權限異常訊號 | 只有 uptime 或 token 使用量 |
| 回復 | 能停止、撤銷、回滾版本並保留事件證據 | 出錯只能人工逐筆猜測處理 |
Production Monitoring 要看什麼
監控不是把所有 log 都存起來。要把「系統有沒有運作」與「Agent 是否仍在核准範圍內」分開量測。OpenBox 的 production monitoring 分析也提醒，延遲、錯誤率與輸出量健康，不代表 Agent 的決策仍符合核准的治理條件；監控、log 與治理是不同功能，不能互相取代。
| 訊號 | 要保存的證據 | 超標後動作 |
|---|---|---|
| Outcome | 實際檔案、資料列、草稿或系統狀態 | 標記失敗，停止自動擴大 |
| Critical Error | 越權、錯誤副作用、資料外洩、重複執行 | 立即停用相關工具與流量 |
| Human Handoff | 接管原因、等待時間、人工修改量 | 重新切分任務或縮小權限 |
| Drift | 模型、Prompt、資料、工具與驗收版本 | 回到基準集重跑並重新批准 |
| Cost／Latency | 每件 Verified Task 的成本與延遲 | 限制回合、調整路由或暫停擴量 |
Incident Response：出事時先停什麼
- Detect：由 Critical Error、權限異常、資料外洩、重複副作用或驗收失敗觸發事件。
- Contain：先停高風險工具、縮小資料範圍，切回 Draft-only 或人工處理。
- Preserve：保存 request、版本、來源、工具呼叫、批准者、結果與時間線。
- Assess：確認影響範圍、受影響資料、外部承諾與通知責任。
- Recover：回滾 Agent、Prompt、工具或資料版本，確認外部狀態恢復。
- Learn：把事件轉成 regression case、權限調整、監控規則或 SOP 更新。
Regression 與持續驗證
每次模型、Prompt、工具介面、資料來源、權限或流程規則變更，都要用正常、缺件、邊界、惡意輸入與工具失敗案例重跑。持續比較一次通過率、Critical Error、人工修改、接管率、成本與延遲；一次成功不能取代長期證據。
- 變更前保存 baseline 與核准版本。
- 先在 shadow 或小流量環境執行。
- 確認高風險案例仍會停止並交給真人。
- 只有所有 hard gate 通過，才恢復原流量。
下一步
如果 PoC 尚未完成，先回到 PoC KPI、測試案例與 Go／No-Go 標準；如果仍在找第一條流程，先看 AI Agent 企業導入入口 與 20 題流程檢查表。
資料來源與內容界線
本文參考 OpenBox：How to Monitor AI Agents in Production、NIST AI RMF Generative AI Profile 與 Anthropic：Demystifying evals for AI agents。清單是 YOLO LAB 的編輯整理，不是法規認證、供應商保證或正式資安意見。
