简短回答
平台对AI图像的审查义务很少从检测开始，而是从通知开始。在大多数监管框架中，采取行动的义务由用户举报、法院命令或标记的广告位触发，而非平台自行发现。检测是义务存在后处理规模的方式，而非触发本身。
为何团队会弄错顺序
审核流程通常先围绕模型构建，再确定流程。这对垃圾内容有效，因为问题在于数量。但对合成图像效果很差，因为平台的法律地位取决于其知晓的内容及时机。一个给图像打0.9分的detector，无法告诉你是否有审查义务。
产生义务的三个触发因素
- 用户通知：由被描绘者、权利持有人或任何用户提交的举报。多数监管体系要求在收到通知后及时响应，计时通常从举报送达的时刻开始，而非审核人员打开举报的时刻。
- 监管指定：某些类别（如特定时段内的选举宣传或涉及未成年人的内容）无论是否收到通知，都负有更高的义务。
- 合同承诺：平台条款与广告商协议通常会设定比法律要求更广泛的义务。这类义务会在纠纷中显现，因为是平台自行制定的。
决策前需记录的内容
- 首次通知的时间戳，与首次审核的时间戳区分开。
- 交付时的图像，而非后续截取的屏幕截图。重新编码会移除审核人员所需的证据。
- 参考了哪些信号，以及每个信号的返回结果，包括不一致的信号。
- 决策及其陈述的依据，需用后续审核人员可审计的语言表述。
检测的作用与误导之处
检测在分流方面确实有用：它能让你对队列进行路由，并优先处理人类应优先打开的案件。但它无法用于确定内容是否为合成的，因为高分意味着文件与相机原始图像不符，而经过编辑的真实图像也是如此。缺失的provenance记录不是伪造的证据；它是关于传输路径的说明。当分数与provenance记录冲突时，应升级至人工审核，而非以模型为准解决冲突。请阅读方法论了解这些层级如何结合，或查看示例报告了解冲突信号如何呈现。
如果你需要在已持有的文件上并排查看provenance、元数据和detector输出，请开始免费审核，并在做出决策前阅读所有三个内容。
此工作流无法解决的问题
它无法告诉你图像是否真实。它无法重建你收到第一份副本之前所做的编辑。并且它无法替代对适用于你的司法管辖区、内容类别及你自行发布的条款中承诺的规则的法律解读。