AI 事故响应：把幻觉、越权和成本异常纳入值班手册

AI 事故可能表现为错误回答、敏感数据泄露、工具越权、模型供应商中断或成本突然飙升。没有值班手册时，团队会先争论模型原因，错过止损窗口。

事故分级

按影响范围、数据敏感度、是否产生副作用和持续时间分级。越权写操作、跨租户泄露和支付错误优先级最高；普通事实错误进入质量事件，但也要保留样本。

先止损再定位

可独立关闭高风险工具、切换只读模式、降低模型上限、暂停批量任务或切回旧 prompt/model 版本。所有开关带操作人、时间、原因和自动恢复期限，避免临时措施遗忘。

保全证据

保存 request_id、prompt_version、model、retriever、tool_calls、策略版本、权限上下文和响应摘要，敏感原文按最小必要原则脱敏。记录服务指标、队列和供应商状态，避免只留下用户截图。

复盘和回归

事故结束后建立最小复现样本，补充对抗集和监控告警。修复要同时验证质量、安全、延迟和成本，灰度期间持续比较旧版本，确认同类事件不再复发。

参考资料：OWASP LLM 应用风险清单。