审核是中后台系统非常重要的职能之一，尤其是对于内容领域和金融领域来说。本文作者在研究免疫系统和病毒的过程中，发现免疫系统和病原体的抗争和协同过程，同审核系统和风险的关系是很类似的，于是将免疫系统对审核系统设计的启示写了出来，希望能给你带来一些启发。

审核是中后台系统非常重要的职能之一，尤其是对于内容领域和金融领域。

后台审核的核心目标是风险控制，发现可能对或已经对公司业务产生不良影响的合作、内容、舆情等不利影响，将其扼杀在萌芽之中或者避免恶劣影响进一步扩大。

笔者曾经做教育后台时，主导过作业批改和审核从0到1到系统设计，有过一些审核的经验。最近因为新冠疫情，也对免疫系统和病毒产生了兴趣，并进行了一些学习和研究。

在此过程中发现，免疫系统和病原体的抗争和协同进化过程，其实同审核系统和风险的关系是很类似的，其底层逻辑更是一样一样的。当然，也可以推而广之到杀毒软件和病毒的关系。

笔者虽然在审核系统的设计方面只有粗浅的经验，但是实在技痒，在此抛砖引玉，将免疫系统对审核系统设计的启示写出来。

一、免疫系统的启示

我们赞美人工设计时，常常会说“巧夺天工”。而随着人类科技实力的不断进步，我们也会产生一些错觉：天然的是质朴的、粗陋的，人工的是完美的、精巧的。

然而我们去多了解一些自然中的现象，那么就会逐步体验到事实恰好与直觉相反。生物尤其是人类的免息系统在漫长的进化中，已经形成了系统性、多层次、高效的机制，十分精妙。

其特点总结如下，也是在设计审核系统中非常值得借鉴的原则。

• 普适性和特异性：免疫系统分为先天免疫系统和适应性免疫系统。先天免疫系统快速响应病原体的入侵，能够应对大部分的感染。对于小部分的严重感染，再启用更加强大的适应性免疫系统。
• 兼顾效率和成本：在上述两个免疫系统结合之下，实现了效率与成本的平衡。因为适应性免疫系统虽然效果强大，但是调用消耗的成本非常高。而先天免疫系统足以应对绝大部分情况。
• 有效的级联反应：无论是两个免疫系统内部还是两个系统之间的配合，都有非常精密的相互触发机制，比如广泛地收集信息、抗原传递、多次认证等。因为免疫系统生效不止会消灭病原体，也会对正常的细胞造成伤害，就是所谓的假阳性。因此审核策略的制定既需要谨慎，又需要在发生严重情况时能果断触发更有效的应对机制。
• 整体性的应对：两个免疫并不是孤立的，而是可以相互协同、相互增强或控制的。这样可以高效而灵活地应对病原体感染，根据实际情况加强或适时停止免疫反应，避免浪费资源或造成更多假阳性。
• 二次感染快速响应：感染一次之后，免疫系统会形成各种记忆细胞，有持续生效的，也有暂时休眠的。当相近的病原体再次感染的时候，就能快速地、低成本地调用适应性免疫，高效消灭危险的病原体。

虽然笔者尝试尽量总结的面面俱到，但是免疫系统几十亿年伴随生命和病原体演化而形成的精妙体系，绝非三言两语就能描述清楚。

感兴趣的读者不妨阅读《免疫系统与病毒的战争》，相信会对产品的审核系统设计有更多启发。

那么如何设计一个完善的审核系统呢？

二、业务分析

笔者一贯强调，做产品设计一定要先深入了解、分析业务，然后抽象出其背后的信息流，再进行系统界面设计。

业务的分析方面有很多成熟的方法论，建议整体框架使用用户体验五要素（参考《产品“无”之道（一）——战略篇》）。

对于审核系统来说，最起码搞清楚几个问题：

• 整体商业的模式是什么？
• 面向用户的产品是什么？有什么功能？
• 用户群体是谁？有什么特征？
• 用户在什么场景下使用产品？
• 造成业务风险的因素有哪些？
• 需要审核的内容是什么？
• 要达成什么样的审核目标？

比如说，我们要做一个内容社区的审核系统。

• 商业模式可能是会员付费、广告收入、流量销售、带货抽成等。
• 产品是移动APP为主，包括内容生产者和内容阅读者相关的功能。
• 用户群体可以参考业务部门的用户画像和用户数据。
• 用户主要在休闲娱乐或是遇到问题等场景使用产品。
• 风险可能包括政治、法律等底线风险，黄恐暴等不良习性，用户隐私、用户引导等舆论风险，低质量内容等其他风险。
• 需要审核的内容可能包括文字、图片、声音、视频等各种类型的PGC或UGC内容。
• 审核目标可能是规避风险，保证社区的良性生态，从而支持业务可持续发展和变现等。

三、信息流分析

深入了解业务之后，就可以着手开始对信息流的抽象、分析和可视化。应用方法可以参考笔者之前的文章，《火眼金睛：一眼看破产品逻辑》。

我们以内容审核相关的业务为例。

经过简单的分析，我们就能够比较全局地了解在整个商业模式下，内容和风险是怎样流转的，进而影响内容分发和用户。

• 内容信息流：核心内容在整个系统中的流转，包括内容生产，内容提交后的机器人和人工审核，审核结果的复核，以及内容审核通过后的分发。内容分发之后，便可以被内容受众消费。
• 业务监控信息流：内容上线之前，虽然已经经过审核，但是不可能所有的内容都能被正确审核。而且有的内容上线虽然通过了审核，但是也可能造成某些难以预知的问题。那么就需要对上线后的内容持续监控（同样可以采用机器和人工的方法）。
• 用户反馈信息流：对上线后内容的跟踪，还有一个很好的方法就是借助用户的力量。对用户针对内容的评价，或者直接开辟举报窗口，都能够帮助识别有风险的内容。
• 风险处理信息流：已上线的内容出现风险之后，需要妥善处理风险。在确认之前可以做限流处理；对于严重的风险，可能要下架内容并触发发布者；对于质量低等内容，可以降低分发的流量。
• 数据反馈：一个审核系统想要不断提升效率、优化审核效果，就需要不断收集内容、反馈等审核之后的效果，并且将审核有效或失效的数据再输入审核系统，帮助优化机器审核的算法和人工审核的规则。

四、系统架构和业务流程图

梳理清楚信息流之后，整个审核系统划的系统架构就清晰多了。

• 用户端：包括为作者和消费受众提供相关功能，由相关的业务团队决定，是审核平台重要的需求来源和服务对象，需要与之保持密切合作。
• 机器审核平台：利用机器审核对提交的内容进行自动审核。一般审核能力通过调用AI平台对应的接口能力实现，也需要把审核的结果反馈给AI平台，帮助其迭代审核算法。
• 人工审核平台：对于机器审核无法完成审核的内容，可以通过人工审核。人工审核需要制定明确的审核规则，以让审核人员在审核时有明确的审核依据。人工审核的审核结果同样可以反馈给AI平台用于迭代审核算法，也可以用于完善审核规则。
• 分发平台：内容审核通过之后，过审的内容通过分发平台进行流量分发。当然分发的策略可以根据用户信息、AI算法进行优化。而且也要随时根据风控反馈，及时处理有风险的内容。
• AI平台：为机器审核提供AI能力，也可以辅助人工审核、以提升效率。一般可以外采或者自己研发。

下一步就是根据每个平台的具体业务需求，结合人（用户、后台工作人员）绘制流程图。还是建立使用泳道图，将系统、人的重要流程梳理清楚。

泳道图的绘制属于产品经理比较基础的技能，在《火眼金睛：一眼看破产品逻辑》也有案例，在此不再具体演示。

五、机器审核平台

机器审核是个比较偏向技术的平台，产品经理的工作就是要为内容安全提供一个高效、准确的机器审核和风控支持。

做好机器审核平台，需要在几个方面做出权衡。

• 风险和体验：审核策略越严格，上线内容的风险越小，但是越可能误伤正常的内容，且为人工审核带来更多的工作量，影响用户体验。反之体验有所提升，但是自身的风险会提高。
• 效率和成本：算法越精准，识别效果越好，然而也意味着更大量的训练数据、更复杂的算法模型、更高的运算量；部署的硬件性能越好、数量越多，审核的速度越快，但是成本也越高。

那么，笔者上文介绍的免疫系统的特点就有用武之地了。

比如受先天免疫系统和适应性免疫系统的启发，我们也可以将机器审核划分成普适性审核和适应性审核。事实上，大多审核系统也是这么做的，但是可以模仿免疫系统，做得更极致。

在作者提交内容时，可以对普遍性的问题进行快速识别。比如敏感词、错别字等，让作者可以马上修正，以避免等待一段时间之后才发现要修正。这样就可以一定程度提升用户体验。

对于所有的内容，应当先让一个简单、高效的模型完成普遍性问题的识别，可以引用人工配置的关键词、策略等帮助增强识别效果。比如可以将完全合规的内容直接发布；对于机器识别置信度低、难以判断的问题类型直接流转人工审核系统；对于适合机器识别的问题进行归类，再分发给不同的适应性算法。甚至以上几种目的也可以交给不同的算法识别分别实现。

适应性算法则可以针对某一类问题进行深度的定制。比如根据国家划分，可以充分考虑不同国家的法律法规和文化；专门针对政治敏感、色情、恐怖等不同类型问题的识别；专门对内容质量、重复性、版权问题识别的模型等。目前人工智能算法的特点还是通用性难做，但是针对特定的问题则可以达到更佳的效果。

再比如建立有效的级联反应机制，让不同类型的问题都得以妥善地处置。

合理配置审核策略，寻找不同整合之间的相似性、关联性，可以对相近的策略进行合并，有冲突的策略进行隔离，有关联的策略设定前后触发关系等。

针对不同类型的问题，还可以设定不同的阈值。比如对政治敏感、青少年色情、版权等底线性的问题，应当采取宁愿误伤，也不放过的策略，然后再交由人工审核进一步判断。对于重复、低质量的内容，则可以适当放宽标准，先让内容发布，再根据后续用户的行为、评价、举报等进一步处理。

有条件时，针对同一类问题可以使用多个模型同时进行分析。这样的好处，一个是可以进行交叉验证，提升审核的准确度。也可以比较不同的算法模型效果，不断淘汰旧的模型，应用新的模型。

还有可以挖掘不同算法模型之间的协作关系。

因为现实世界，内容很多的问题都是混杂在一起的，比如有的内容可能既色情又暴力。

那么普适性审核模型也应当能够提取一些关键特征，帮助适应性审核模型更精准、高效地完成审核；适应性审核模型也可以抽取出更多普适性的特征，反哺普适性审核模型，帮助其优化。

而不同的适应性审核模型，也可以抽取出自己无法完全识别，但是可能与另一种问题相关的特征，并且提供给相关的模型，帮助其更准确地完成识别。

最后就是优化机器审核的记忆性。

机器审核平台应当提供审核结果的数据平台，包括每个算法模型的调用次数、识别效率、识别准确性（来自模型的交叉验证、人工审核、用户反馈等）等数据，用于衡量模型效果。

也应当允许查看内容的识别结果，并尽可能标注出问题的区域。同时也可以人为对结果进行订正，以提升反馈数据的质量。

对于已经发生的问题，可以总结其规律性，比如是否跟国家地区、时间（季节、节日等）、偶然事件、账号用户行为等是否有关。对于持续性、易发性的问题，可以作为固定的检测对象固定下来（配置关键词、审核策略、甚至新增模型等）；对于规律性、偶发性的问题，可以设定有效的触发策略，平时可以不作为审核对象。

借鉴疫苗的思维，可以建立模拟的沙盒，在新审核策略、新审核模型发布前，在沙盒中测试效果。还可以人工或机器生成大量的违规内容，然后输入沙盒用以优化模型等。

由于笔者在审核方面的经验有限，上述的想法抛出来供各位读者参考，也欢迎大家留言交流。

六、人工审核平台

人工审核平台要支持审核人员审核和管理的要求，相对来说有更多的界面设计和流程流转。但机器人审核平台的很多思路也可以借鉴。

1. 将审核人员分层和有效的级联机制

可以指定一批基础的审核人员，初步判断机器给出的判断建议是否合理，比如是否需要人工审核、问题分类是否恰当。

特定问题的审核人员同样可以分层，优先由初级审核人员处理，对于难以判断的问题，可以升级、交给更资深的审核人员处理。因为审核人员的培养也是需要成本的，而有疑难杂症的内容也是少数，这种策略可以兼顾效率和成本。

2. 审核人员之间的协作

对于重要的问题，可以同时交给若干审核人员交叉验证。这样的好处是一方面可以避免严重的问题被误判而分发给用户，造成恶劣的影响；另一方面也可以对重要作者更谨慎的审核，避免因为误判损害其积极性和利益。

虽然经过机器和人工分类，但是还有部分问题难免分配到错误的类别，那么处理特定问题的审核人员可以根据个人判断，直接移交给其他组别或者打回给分类审核人员。

3. 强化人工审核系统的记忆

可以从两方面入手。

一个是同样要提供审核结果的数据平台，帮助管理人员不断发现人工审核的不足之处，通过优化审核规则、加强审核人员培训等动作，提升审核效果。

另一个是要建立对审核人员的奖惩措施。奖励审核快、结果准的审核人员，惩罚审核慢、结果差的审核人员。鼓励有想法的审核人员反馈问题和建议，则可以更好地优化人工审核系统乃至机器审核系统。

用AI进行辅助。

虽然前序的机器审核可能无法准确判断问题，但是可以给出处理意见、标注出问题最大的位置，帮助审核人员快速定位。

还可以提示相关的审核规则，方便审核人员在有疑问时能快速查找依据。也可以在审核规则发生变动时及时予以提醒。

甚至对于有显著问题的审核结果进行提醒，进一步降低出错概率。

而人工审核的结果，则是优化AI算法模型的极佳数据。

最后想提醒的是最重要的审核页面的设计，界面设计的合理性、易操作性，极大影响审核人员的效率乃至准确性。需要结合业务特点和审核内容类别（文字、图片、声音、视频）等有针对性地进行设计。也需要结合可用性测试、数据埋点等手段不断优化审核界面。

由于差异性显著，笔者在此不提供具体案例，但是提示可以参考各类设计软件，使用通用性的交互、快捷键等方式提升效率。

关于审核系统的设计思路就介绍到这里。

触类旁通，是一个优秀产品经理必备的素质。阅读笔者的公众号文章，是一个不错的选择。