⁠‌‌​‌​​​‌​​​​‌‌‌​​​​​​‌‌‌‌‌‌​‌​​​⁠生成式AI暂行办法

发现AI生成了违法内容，该怎么处置和上报？

你可能要做的

1. 制定违法内容应急处置流程与责任人
2. 明确停止生成、停止传输、消除的具体操作
3. 建立向主管部门报告的路径与留档模板
4. 对违规使用者按分级采取限制措施并留记录
5. 把线上问题回流到模型优化与策略更新

条文依据

一句话结论

发现违法内容，四个动作缺一不可：及时处置、整改、报告、留记录。只删掉内容不报告，或者只报告不整改，都不满足第十四条。

依据

第十四条第一款针对「内容」：提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。

这里有三个层次。第一层是即时处置，措施包括停止生成（阻断当前输出）、停止传输（阻断扩散）、消除（清除已产生的内容）。第二层是整改，明确要求采取模型优化训练等措施，也就是从根因上减少再次发生，而不是只做单点清理。第三层是报告，向有关主管部门报告。

第十四条第二款针对「使用者」：提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。

第二款的关键词是「依法依约」。依法，是指处置要有法律依据；依约，是指服务协议里要事先约定这些措施，否则执行时会缺少合同支撑。同时明确要求保存有关记录。

第十九条补充配合义务：有关主管部门开展监督检查时，提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。

你要做什么

1. 写一份应急处置流程：谁发现、谁判断、多久内处置、谁决定报告。明确值班机制。
2. 把三类措施落到实处：停止生成对应输出侧拦截；停止传输对应分享、导出、公开链接的关闭；消除对应内容下架与缓存清理。
3. 建报告留档模板：事件时间、内容形式、影响范围、采取措施、整改计划。
4. 对违规使用者按程度分级处置，并把分级写进服务协议，做到「依约」有据。
5. 保存处置记录，包括触发原因和采取的措施。
6. 把问题回流到模型优化训练和安全策略，形成闭环。

容易踩的坑

• 只删不报。第一款把报告和处置并列。
• 只处置当次输出，不做模型侧整改。第一款明确要求采取模型优化训练等措施。
• 处置使用者时没有协议依据。第二款的「依约」要求事先约定。
• 不保存记录。记录既是合规要求，也是监督检查时的举证材料。
• 没有明确谁负责判断。发现后层层上报、错过处置时机。

常见追问

向哪个部门报告？ 第十四条表述为「有关主管部门」。具体报送渠道和时限以属地网信办口径为准，内部应事先明确对接部门和责任人。

用户删掉内容后还要报告吗？ 处置和报告是两个独立动作。发现违法内容即触发第一款的动作要求，不因内容已删除而免除。

模型偶发输出违法内容，也按这一条处理吗？ 第十四条的触发条件是「发现违法内容」，不以是否偶发为区分。偶发问题同样要走处置、整改、报告，并通过模型优化训练降低复发。

常见追问

暂停服务和终止服务怎么选？

第十四条第二款列举了警示、限制功能、暂停或者终止向其提供服务等措施。按违规严重程度分级适用，并把分级标准写进服务协议。

处置记录要保存哪些内容？

办法要求保存有关记录。建议至少包含事件时间、涉及内容或功能、判定结论、采取的措施、报告情况与整改动作。

监督检查时企业要提供什么？

按第十九条，提供者应依法配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。

本条目属于「中国 AI 合规与备案」集群（共 42 条）：查看全部 · 答案库首页