多模态内容审核：规则、模型与人工复核的组合拳

内容审核是一个高风险在线决策，不能把单次模型分类当成最终裁决。不同模态需要不同预处理和阈值，还要为边界样本保留人工复核与申诉出口。

先做格式和安全预处理

上传阶段限制文件类型、大小、帧率和时长，做恶意文件扫描和哈希去重。文本统一编码，图片做 EXIF 清理，视频抽帧并记录时间戳。原件与审核副本分离保存。

分级决策

明显违规走规则或高置信模型自动拦截；明显正常直接放行；低置信、涉及未成年人、医疗或政治等高风险样本进入人工队列。每条结果记录 policy_version、model_version、阈值和证据片段。

审核队列要有 SLA

按风险、曝光量和申诉时限排序，支持多人复核、冲突升级和批量处理。高峰期间可以临时提高审核阈值或限制发布速度，但不能静默放宽安全策略。

误杀和漏放闭环

用户申诉关联原始版本和审核证据，复核结论进入标注集。每周分析误杀率、漏放率、平均审核时长、申诉改判率和模型漂移，按模态和业务场景分层。

参考资料：NIST 生成式 AI 风险画像。