短视频需要防止色情低俗内容，如何设计人工审核功能？作者从这一考题出发，从多个方面对这个问题进行了分析解答。

前言：这是和网友的一个即兴考核题，以下的内容仅代表个人观点，内容可能会有措辞不正确，观点不切实际，考虑不周的情况出现，希望大家不吝赐教，抱拳。

注：考察侧重点是功能的设计而不是如何对内容做识别。

思考：防止色情低俗视频出现污染视听，提高视频审核效率减少人工成本。

综合起来我们需要有敏感词监控机制、任务分配机制、视频评分机制、发布者评分机制、员工考核机制以及人工智能识别机制。

01 敏感词监控机制

敏感词监控机制不仅对发布的内容有监控对评论也有监控，反正就是只要你在这个App说的每句话我都监控一遍，不同的是内容监控到敏感词直接拒绝发送，评论区监控到敏感词达到一定复审要求需要对视频复审，并记录敏感评论的用户到“嫌疑人关押处”。

怎么知道哪些是敏感词呢，首先要有一个敏感词库，库中的词从哪里来呢，一个是满大街都知道的敏感词先导进去，一个是从封号或低分内容和评论中不断获取还有就是和友商资料共享尤其是做阅读类的友商（也不知道行的通不）。

02 任务分配机制

视频每日都在产出，内容五花八门，如何审核这些视频，怎么分配?

这就需要一个任务分配机制，按量或地区分配视频。考虑到视频的每时每刻都在产生，这就需要任务分配机制有个定时器，视频积累到某个量或者隔某段时间就自动分配任务给人工审核，人工优先审核发送时间较早的视频。

人工也有各种突发情况比如离职、生病请假导致任务无法完成这怎么办，视频不能不审呐，这就需要一个任务再分配转入转出的功能来保证当天视频尽量当天审核。

03 视频评分机制

任务分配完了需要审核视频，这时视频评分机制就开始作用。视频评分机制分两种，一种是连续被评为优秀视频发布者发布的视频系统自动通过审核。

这个优秀的标准可以是极其严苛的，比如毫无污点且达到某种数目的点赞、评论和关注才可以评级优，也可以是发布的内容和评论、点赞的内容只要没有污点即可评优。这么做的主要目的是提高进审效率，因为人工是真的比较慢。

第二种就是人工评分机制，评分标准暂时分为低俗、色情、正常。低俗色情的直接删除反馈给发布者，同时记录下用户数据、操作者、原因和时间做到每个审核都迹可寻，同时也可用于统计该App中发什么类型的视频比较多，用于年度总结反思用。

对于人工来说每日都在审核大量视频，百密总有一疏，漏网之鱼也不少，如何在事情没有传播开来就扼杀掉，这就需要举报机制。泱泱大国总是不乏正义之士的，举报机制分等级，等级高的直接百里加急件送给人工复审，等级低的都是小打小闹，市场最常用的手段是系统自动限流可以参考使用，当然还有其他的。

举报的等级可按举报数量、举报时选择的举报原因等级或者两个结合使用。

04 发布者评分机制

发布者评分机制的依据包括发布的内容和评论或者浏览记录，总结起来就是他在此App的一言一行。

对于发布的内容可根据其每年、每季度、每月、每周发布视频的评分标签给出得分，色情低俗达到某值说明是惯犯就直接封号处理，首犯不严重或者还没到达某值就统统丢到“嫌疑人关押处”，此处的人只有两种结果要么继续作恶封号要么改过自新慢慢脱离嫌疑释放出来。

评论也是内容输出的一个入口，在法治社会人人说话都要付出代价，评论举报随处可见，被举报次数多，惯于妖言惑众日的就直接封号处理，偶尔评论言辞激烈次数达某值或者被举报次数还不是很严重就放到“嫌疑人关押处”，日后哪天发个视频也能及时审核评分。

总是会有一些人只看不说话，看视频就图个乐子。这时浏览记录就比较重要了，他浏览的创作者评分是多少，浏览的内容有哪些，这种用户只需要保持浏览记录不出问题就可以了。

“嫌疑人关押处”的主要作用是在“嫌疑人”后续发布的视频在人工审核时有标签且置顶显示用于提醒人工审核该人时需要注意。毕竟有些视频万一发出去不及时处理影响的不只一点点，App的命运搞不好就此发生大转折。

05 员工考核机制

员工考核机制的主要目的就是为了防止员工懈怠，审核不严格以及作为优秀员工的奖励标准之一。

机制主要分三个方面（暂且就想到这三个）：

一个是日完成比例，一天中审核完的视频有多少，还剩下多少；

二是审核通过率，审核同过率高为啥子呢，审核通过率低又为啥子呢，不高不低就是在摸鱼么？

三是平均单位视频审核时长，是高于平均值还是低于平均值。高于平均值到底是因为懈怠需要请他喝杯茶还是因为新手起步慢需要旧带新或者员工培训。低于平均值是因为敷衍了事还是技术纯熟的得心应手。

以上这些都是要算在考核之内的。

审核通过率这个怎么说，有可能有标准但是需要行业通过数据分析出来。或者就没有，那只有异常数据才能作为参照标准。还有平均单位视频审核时长这个数据也是需要系统大量计算人工审核速度才能计算出来的，不能纸上谈兵乱说一通。

06 人工智能识别机制

这个识别主要是对视频做第一层评判，不堪入目的内容就通过人工智能视频解析直接pass不通过并在发布者评分机制中留下轨迹。

这个人工识别机制只能是粗略的筛选不能作为主要的筛选工具。实在不行我觉得去掉也可以，也不知道视频解析有没有达到这个技术，之前看新闻某视频播放软件的标点师说，kiss镜头现在的技术还捕捉无法完全找到，只能人工标点，希望人工智能可以解决。最重要的一点是不知道价位。

以上就是我对“短视频为防止色情低俗需要一个人工审核功能，如何设计”这个问题的一些个人理解和看法。

本文由 @一一得一 原创发布于人人都是产品经理，未经作者许可，禁止转载。

题图来自Unsplash，基于CC0协议。