手把手带你设计产品后台(3)——审核篇
审核是中后台系统非常重要的职能之一,尤其是对于内容领域和金融领域来说。本文作者在研究免疫系统和病毒的过程中,发现免疫系统和病原体的抗争和协同过程,同审核系统和风险的关系是很类似的,于是将免疫系统对审核系统设计的启示写了出来,希望能给你带来一些启发。
审核是中后台系统非常重要的职能之一,尤其是对于内容领域和金融领域。
后台审核的核心目标是风险控制,发现可能对或已经对公司业务产生不良影响的合作、内容、舆情等不利影响,将其扼杀在萌芽之中或者避免恶劣影响进一步扩大。
笔者曾经做教育后台时,主导过作业批改和审核从0到1到系统设计,有过一些审核的经验。最近因为新冠疫情,也对免疫系统和病毒产生了兴趣,并进行了一些学习和研究。
在此过程中发现,免疫系统和病原体的抗争和协同进化过程,其实同审核系统和风险的关系是很类似的,其底层逻辑更是一样一样的。当然,也可以推而广之到杀毒软件和病毒的关系。
笔者虽然在审核系统的设计方面只有粗浅的经验,但是实在技痒,在此抛砖引玉,将免疫系统对审核系统设计的启示写出来。
一、免疫系统的启示
我们赞美人工设计时,常常会说“巧夺天工”。而随着人类科技实力的不断进步,我们也会产生一些错觉:天然的是质朴的、粗陋的,人工的是完美的、精巧的。
然而我们去多了解一些自然中的现象,那么就会逐步体验到事实恰好与直觉相反。生物尤其是人类的免息系统在漫长的进化中,已经形成了系统性、多层次、高效的机制,十分精妙。
其特点总结如下,也是在设计审核系统中非常值得借鉴的原则。
- 普适性和特异性:免疫系统分为先天免疫系统和适应性免疫系统。先天免疫系统快速响应病原体的入侵,能够应对大部分的感染。对于小部分的严重感染,再启用更加强大的适应性免疫系统。
- 兼顾效率和成本:在上述两个免疫系统结合之下,实现了效率与成本的平衡。因为适应性免疫系统虽然效果强大,但是调用消耗的成本非常高。而先天免疫系统足以应对绝大部分情况。
- 有效的级联反应:无论是两个免疫系统内部还是两个系统之间的配合,都有非常精密的相互触发机制,比如广泛地收集信息、抗原传递、多次认证等。因为免疫系统生效不止会消灭病原体,也会对正常的细胞造成伤害,就是所谓的假阳性。因此审核策略的制定既需要谨慎,又需要在发生严重情况时能果断触发更有效的应对机制。
- 整体性的应对:两个免疫并不是孤立的,而是可以相互协同、相互增强或控制的。这样可以高效而灵活地应对病原体感染,根据实际情况加强或适时停止免疫反应,避免浪费资源或造成更多假阳性。
- 二次感染快速响应:感染一次之后,免疫系统会形成各种记忆细胞,有持续生效的,也有暂时休眠的。当相近的病原体再次感染的时候,就能快速地、低成本地调用适应性免疫,高效消灭危险的病原体。
虽然笔者尝试尽量总结的面面俱到,但是免疫系统几十亿年伴随生命和病原体演化而形成的精妙体系,绝非三言两语就能描述清楚。
感兴趣的读者不妨阅读《免疫系统与病毒的战争》,相信会对产品的审核系统设计有更多启发。
那么如何设计一个完善的审核系统呢?
二、业务分析
笔者一贯强调,做产品设计一定要先深入了解、分析业务,然后抽象出其背后的信息流,再进行系统界面设计。
业务的分析方面有很多成熟的方法论,建议整体框架使用用户体验五要素(参考《产品“无”之道(一)——战略篇》)。
对于审核系统来说,最起码搞清楚几个问题:
- 整体商业的模式是什么?
- 面向用户的产品是什么?有什么功能?
- 用户群体是谁?有什么特征?
- 用户在什么场景下使用产品?
- 造成业务风险的因素有哪些?
- 需要审核的内容是什么?
- 要达成什么样的审核目标?
比如说,我们要做一个内容社区的审核系统。
- 商业模式可能是会员付费、广告收入、流量销售、带货抽成等。
- 产品是移动APP为主,包括内容生产者和内容阅读者相关的功能。
- 用户群体可以参考业务部门的用户画像和用户数据。
- 用户主要在休闲娱乐或是遇到问题等场景使用产品。
- 风险可能包括政治、法律等底线风险,黄恐暴等不良习性,用户隐私、用户引导等舆论风险,低质量内容等其他风险。
- 需要审核的内容可能包括文字、图片、声音、视频等各种类型的PGC或UGC内容。
- 审核目标可能是规避风险,保证社区的良性生态,从而支持业务可持续发展和变现等。
三、信息流分析
深入了解业务之后,就可以着手开始对信息流的抽象、分析和可视化。应用方法可以参考笔者之前的文章,《火眼金睛:一眼看破产品逻辑》。
我们以内容审核相关的业务为例。
经过简单的分析,我们就能够比较全局地了解在整个商业模式下,内容和风险是怎样流转的,进而影响内容分发和用户。
- 内容信息流:核心内容在整个系统中的流转,包括内容生产,内容提交后的机器人和人工审核,审核结果的复核,以及内容审核通过后的分发。内容分发之后,便可以被内容受众消费。
- 业务监控信息流:内容上线之前,虽然已经经过审核,但是不可能所有的内容都能被正确审核。而且有的内容上线虽然通过了审核,但是也可能造成某些难以预知的问题。那么就需要对上线后的内容持续监控(同样可以采用机器和人工的方法)。
- 用户反馈信息流:对上线后内容的跟踪,还有一个很好的方法就是借助用户的力量。对用户针对内容的评价,或者直接开辟举报窗口,都能够帮助识别有风险的内容。
- 风险处理信息流:已上线的内容出现风险之后,需要妥善处理风险。在确认之前可以做限流处理;对于严重的风险,可能要下架内容并触发发布者;对于质量低等内容,可以降低分发的流量。
- 数据反馈:一个审核系统想要不断提升效率、优化审核效果,就需要不断收集内容、反馈等审核之后的效果,并且将审核有效或失效的数据再输入审核系统,帮助优化机器审核的算法和人工审核的规则。
四、系统架构和业务流程图
梳理清楚信息流之后,整个审核系统划的系统架构就清晰多了。
- 用户端:包括为作者和消费受众提供相关功能,由相关的业务团队决定,是审核平台重要的需求来源和服务对象,需要与之保持密切合作。
- 机器审核平台:利用机器审核对提交的内容进行自动审核。一般审核能力通过调用AI平台对应的接口能力实现,也需要把审核的结果反馈给AI平台,帮助其迭代审核算法。
- 人工审核平台:对于机器审核无法完成审核的内容,可以通过人工审核。人工审核需要制定明确的审核规则,以让审核人员在审核时有明确的审核依据。人工审核的审核结果同样可以反馈给AI平台用于迭代审核算法,也可以用于完善审核规则。
- 分发平台:内容审核通过之后,过审的内容通过分发平台进行流量分发。当然分发的策略可以根据用户信息、AI算法进行优化。而且也要随时根据风控反馈,及时处理有风险的内容。
- AI平台:为机器审核提供AI能力,也可以辅助人工审核、以提升效率。一般可以外采或者自己研发。
下一步就是根据每个平台的具体业务需求,结合人(用户、后台工作人员)绘制流程图。还是建立使用泳道图,将系统、人的重要流程梳理清楚。
泳道图的绘制属于产品经理比较基础的技能,在《火眼金睛:一眼看破产品逻辑》也有案例,在此不再具体演示。
五、机器审核平台
机器审核是个比较偏向技术的平台,产品经理的工作就是要为内容安全提供一个高效、准确的机器审核和风控支持。
做好机器审核平台,需要在几个方面做出权衡。
- 风险和体验:审核策略越严格,上线内容的风险越小,但是越可能误伤正常的内容,且为人工审核带来更多的工作量,影响用户体验。反之体验有所提升,但是自身的风险会提高。
- 效率和成本:算法越精准,识别效果越好,然而也意味着更大量的训练数据、更复杂的算法模型、更高的运算量;部署的硬件性能越好、数量越多,审核的速度越快,但是成本也越高。
那么,笔者上文介绍的免疫系统的特点就有用武之地了。
比如受先天免疫系统和适应性免疫系统的启发,我们也可以将机器审核划分成普适性审核和适应性审核。事实上,大多审核系统也是这么做的,但是可以模仿免疫系统,做得更极致。
在作者提交内容时,可以对普遍性的问题进行快速识别。比如敏感词、错别字等,让作者可以马上修正,以避免等待一段时间之后才发现要修正。这样就可以一定程度提升用户体验。
对于所有的内容,应当先让一个简单、高效的模型完成普遍性问题的识别,可以引用人工配置的关键词、策略等帮助增强识别效果。比如可以将完全合规的内容直接发布;对于机器识别置信度低、难以判断的问题类型直接流转人工审核系统;对于适合机器识别的问题进行归类,再分发给不同的适应性算法。甚至以上几种目的也可以交给不同的算法识别分别实现。
适应性算法则可以针对某一类问题进行深度的定制。比如根据国家划分,可以充分考虑不同国家的法律法规和文化;专门针对政治敏感、色情、恐怖等不同类型问题的识别;专门对内容质量、重复性、版权问题识别的模型等。目前人工智能算法的特点还是通用性难做,但是针对特定的问题则可以达到更佳的效果。
再比如建立有效的级联反应机制,让不同类型的问题都得以妥善地处置。
合理配置审核策略,寻找不同整合之间的相似性、关联性,可以对相近的策略进行合并,有冲突的策略进行隔离,有关联的策略设定前后触发关系等。
针对不同类型的问题,还可以设定不同的阈值。比如对政治敏感、青少年色情、版权等底线性的问题,应当采取宁愿误伤,也不放过的策略,然后再交由人工审核进一步判断。对于重复、低质量的内容,则可以适当放宽标准,先让内容发布,再根据后续用户的行为、评价、举报等进一步处理。
有条件时,针对同一类问题可以使用多个模型同时进行分析。这样的好处,一个是可以进行交叉验证,提升审核的准确度。也可以比较不同的算法模型效果,不断淘汰旧的模型,应用新的模型。
还有可以挖掘不同算法模型之间的协作关系。
因为现实世界,内容很多的问题都是混杂在一起的,比如有的内容可能既色情又暴力。
那么普适性审核模型也应当能够提取一些关键特征,帮助适应性审核模型更精准、高效地完成审核;适应性审核模型也可以抽取出更多普适性的特征,反哺普适性审核模型,帮助其优化。
而不同的适应性审核模型,也可以抽取出自己无法完全识别,但是可能与另一种问题相关的特征,并且提供给相关的模型,帮助其更准确地完成识别。
最后就是优化机器审核的记忆性。
机器审核平台应当提供审核结果的数据平台,包括每个算法模型的调用次数、识别效率、识别准确性(来自模型的交叉验证、人工审核、用户反馈等)等数据,用于衡量模型效果。
也应当允许查看内容的识别结果,并尽可能标注出问题的区域。同时也可以人为对结果进行订正,以提升反馈数据的质量。
对于已经发生的问题,可以总结其规律性,比如是否跟国家地区、时间(季节、节日等)、偶然事件、账号用户行为等是否有关。对于持续性、易发性的问题,可以作为固定的检测对象固定下来(配置关键词、审核策略、甚至新增模型等);对于规律性、偶发性的问题,可以设定有效的触发策略,平时可以不作为审核对象。
借鉴疫苗的思维,可以建立模拟的沙盒,在新审核策略、新审核模型发布前,在沙盒中测试效果。还可以人工或机器生成大量的违规内容,然后输入沙盒用以优化模型等。
由于笔者在审核方面的经验有限,上述的想法抛出来供各位读者参考,也欢迎大家留言交流。
六、人工审核平台
人工审核平台要支持审核人员审核和管理的要求,相对来说有更多的界面设计和流程流转。但机器人审核平台的很多思路也可以借鉴。
1. 将审核人员分层和有效的级联机制
可以指定一批基础的审核人员,初步判断机器给出的判断建议是否合理,比如是否需要人工审核、问题分类是否恰当。
特定问题的审核人员同样可以分层,优先由初级审核人员处理,对于难以判断的问题,可以升级、交给更资深的审核人员处理。因为审核人员的培养也是需要成本的,而有疑难杂症的内容也是少数,这种策略可以兼顾效率和成本。
2. 审核人员之间的协作
对于重要的问题,可以同时交给若干审核人员交叉验证。这样的好处是一方面可以避免严重的问题被误判而分发给用户,造成恶劣的影响;另一方面也可以对重要作者更谨慎的审核,避免因为误判损害其积极性和利益。
虽然经过机器和人工分类,但是还有部分问题难免分配到错误的类别,那么处理特定问题的审核人员可以根据个人判断,直接移交给其他组别或者打回给分类审核人员。
3. 强化人工审核系统的记忆
可以从两方面入手。
一个是同样要提供审核结果的数据平台,帮助管理人员不断发现人工审核的不足之处,通过优化审核规则、加强审核人员培训等动作,提升审核效果。
另一个是要建立对审核人员的奖惩措施。奖励审核快、结果准的审核人员,惩罚审核慢、结果差的审核人员。鼓励有想法的审核人员反馈问题和建议,则可以更好地优化人工审核系统乃至机器审核系统。
用AI进行辅助。
虽然前序的机器审核可能无法准确判断问题,但是可以给出处理意见、标注出问题最大的位置,帮助审核人员快速定位。
还可以提示相关的审核规则,方便审核人员在有疑问时能快速查找依据。也可以在审核规则发生变动时及时予以提醒。
甚至对于有显著问题的审核结果进行提醒,进一步降低出错概率。
而人工审核的结果,则是优化AI算法模型的极佳数据。
最后想提醒的是最重要的审核页面的设计,界面设计的合理性、易操作性,极大影响审核人员的效率乃至准确性。需要结合业务特点和审核内容类别(文字、图片、声音、视频)等有针对性地进行设计。也需要结合可用性测试、数据埋点等手段不断优化审核界面。
由于差异性显著,笔者在此不提供具体案例,但是提示可以参考各类设计软件,使用通用性的交互、快捷键等方式提升效率。
关于审核系统的设计思路就介绍到这里。
触类旁通,是一个优秀产品经理必备的素质。阅读笔者的公众号文章,是一个不错的选择。
专栏作家
一直产品汪,微信公众号:apmdogy,人人都是产品经理专栏作家。逻辑型产品经理,致力于将科学思维与产品经理方法论结合。关注人工智能、教育领域,擅长产品孵化、需求挖掘、项目管理、流程管理等产品技能。
本文原创发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于CC0协议。
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
如果没有AI开发能力的公司,是否有途径也可以买到可嵌入式的AI子系统?
牛逼