如何快速搭建内容安全审核系统？

如何快速搭建内容安全审核系统？

引用

百度

1.

https://baijiahao.baidu.com/s?id=1815659142363908076

随着互联网内容监管的日益严格，内容安全审核已成为每个平台必须面对的问题。本文将详细介绍内容安全审核系统的搭建方法，包括审核类型、审核流程、机器审核实现思路和人工审核实现思路。

对每一家互联网内容平台来说，为确保平台内容的合法性和规范性，健全平台内容审核机制已成为必须重视的问题。如何进行内容安全审核系统的设计，如何实现流程，如何达到合规性的标准……这些都成为互联网平台运营者搭建内容安全审核系统所必须思考的重点。审核是对产品风险的把控，也是维护网络生态环境重要的一环。由于AI审核的局限性，互联网平台如需达到99%以上的准确率，需要人工审核的接入。

审核类型

• 内容类型：文本、图片、视频、音频、直播、游戏、广告、互动、个人信息。
• 审核类型：涉政、涉黄、暴恐、涉赌、侵权、违禁品、广告、辱骂、民族宗教、意识形态等。

审核流程

• 参与对象：发布者、浏览用户、内容审核（一审、二审、质检、管理员等）等。
• 用户发送信息流程：用户登录——内容编辑——内容上传——内容展示
• 用户接受信息流程：用户登录——内容展示——互动

机器审核实现思路

文本审核

• 关键词分类：完全禁止（色情、广告引流等）、需审核关键词。通过关键词过滤，检测到比较模糊是否为违规关键词的需要进入人工审核流程。
• 关键词库：关键词库做成可配置的方式，以供应对不同的场景。

图片审核

• 审核类型：图片主体、图片动作、图片文字、图片质量、图片广告（二维码、水印等）。
• 智能处理：指定目标识别、指定场景识别、指定情节识别、图像分类、图像分割等。
• 审核策略：针对不同的内容，可自行配置图片审核策略。

视频审核

• 审核逻辑：视频审核和图片审核的逻辑是一样的，区别在于：视频的审核需要先进行截取视频某一帧画面然后再进行图片审核；另外视频还需要进行音频审核。

音频审核

• 审核重点：
• 音频转文字后，进行关键词内容审核（同文本审核逻辑）；
• 对音频动物、喘息声纹进行阈值管理，分为：正常区域、疑似区域、违规区域。

限定符

• 设置字符间可忽略的字符数。例如：“性感”为违规词，为了规避用户可能会用“性1感”，因此在“性感”中间加入限定符以检测。还有正则表达式、乱码、数字乱序等。

人工审核实现思路

人工审核机制

• 主要场景：
• 平台对于准确率要求极高，需要达到“万无一失”，机器转发至人工审核进行二审、三审（系统审核为疑似内容、检测为高危用户等），随机抽样审核。
• 任务分配机制：
• 内容分发的依据是根据内容类型（图片、文字）分发对应的审核专家。
• 分配时间机制：7*24小时审核场景机制；优先审核场景机制。

人工审核系统模块

• 账号管理：超级管理员可以通过系统管理人工审核账号，包括开通、删除、权限管理等。
• 质检平台：对于人工审核的质量需要进行质检，形式有抽检、交叉审核、复审。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门（KPI不同），若两次审核结果不一致则需复审，复审由更高一级负责人完成。
• 人工审核平台：审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。以视频审核页面的配套功能举例，需要有倍速浏览、自动播放等功能。

投诉复审和定期巡检

• 投诉处理：发布者有申述通道，那么对于人工审核人员中，也需要有对应处理申述的后台。
• 巡检机制：对于PV高、评论高、有用户投诉的内容进行定期巡检。