实战分享:UGC内容质量提升策略设计
对于UGC社区而言,在内容生产端,把控其质量非常重要,需制定维持或提升平台内容质量的相关策略。本文结合作者相关项目经历详细展开,如何进行UGC内容质量提升策略设计,一起来看看吧。
如上一篇文章【实战思考:从0到1搭建UGC社区系统】所说,在内容生产端,需制定维持或提升平台内容质量的相关策略,本文将围绕笔者的项目经历对其进行更详细得介绍。
先说下笔者在这块走过的弯路。最开始搭建社区时,一个关键指标是内容量,当时整个产品和运营团队侧重在创作者的拉新和激励上,忽视了内容质量,导致平台出现以下几个典型问题:
1、当时的创作者激励活动,侧重于求量而非求质,导致出现大量低质灌水内容;
2、某类似于精选的功能仅与点赞量挂钩,导致平台发出错误的优质内容信号;
3、真正的优质内容流量受限。部分高优内容,由于无法获得流量倾斜,曝光不够,导致创作者失去优质创作的动力;
4、对于平台整体内容质量的走向,无直接的数据指标评价,只能靠人工感知。
基于此,团队需迫切调整方向,笔者便是在此背景下提出了内容质量提升的相关策略,供各位参考。
一、增加关键指标
所有策略的制定都需要有一个指标来衡量。针对于内容质量的提升,提出了“内容详情页的日人均停留时长”指标,选择该指标的原因是:
1、该指标是用户行为指标,客观且可量化;
2、与内容质量提升有很强的因果关系,内容质量的提升会直接带来用户更久的停留时长;
3、相比点击率、消费内容数这类指标,时长指标的提升背后是更长期更稳定的用户行为,比如标题党、临时运营活动对指标的影响较小,即该指标更加“健康”;
指标拆解如下:
内容详情页的日人均停留时长= 人均消费内容数量 * 单个内容停留时长=人均消费内容数量 *(完成单个内容所需时长 * 完读率)
注:此处的=并不是完全相等
以上共拆解到了三个子指标上,这三个子指标有各自不同的价值:
1、“人均消费内容数量”的提升侧重于更高的点击率,即平台更强的内容分发能力;
2、“完成单个内容所需时长”的提升侧重于更长的内容。从团队的运营经验来说,平台优质内容往往有较多字数(大于500字),因此该指标能在一定程度上反映平台的内容质量。但该指标有明显的缺点,如果只单一考虑,容易导致内容凑字数或内容过长现象,因此需要下面的“完读率”指标进行牵制;
3、“完读率”的提升侧重于内容对当前用户的吸引力,一是受到内容质量本身的影响,二来也受到内容分发能力的影响(是否是用户真正感兴趣的内容);
二、提出解决方案
1、给标准——完善内容质量评级
平台需要清晰界定什么是优质、什么是低质内容,即给出质量评判的标准。需要产品和运营团队配合输出,主要工作包括:
(1)确定内容范围。比如回答、文章;
(2)提出质量等级和评定方式
当时提出共6层,如下图供参考(其中等级0-4互斥,等级5的内容同时也属于等级4)。不同平台由于所处阶段、定位、资源配置、内容量级、内容风险程度等原因,在质量等级划分和评定方式/流程上各有不同,但核心思路均是通过质量划分,将好内容和差内容进行足够精准得圈定以配合后续的奖惩策略。
(3)质量标准制定
由内容运营团队输出质量标准文档给到审核团队,然后由审核团队按照标准进行打标。质量标准文档并不是一个固定的文档,需逐步调优适配平台内容。而调优的方向是否正确,可以通过引入关联的数据指标进行纠偏,流程如下。
此外还需注意的是,不论质量标准文档多么完善,对于审核团队来说,3和4的质量评定难度往往会高于0和1,因为“好内容”的边界更加模糊,审核团队在这里所使用的主观判断会更多。也由于评定具有主观性,存在两个风险:
a.在既定标准下,审核团队的人员不同所带来的标注结果不一致;
b.在既定标准下,审核团队核心人员更换所带来的标注结果前后不一致。
如果审核团队不在部门内部构架范围,以上风险则需特别关注,除了通过运营抽检识别和控制外,也可以通过引入关联的数据指标进行观测。
(4)提出关联的数据指标
a.针对质量标准调优。可以通过“1~4各个质量等级下的内容占比”和“1~4各个质量等级下的内容曝光收藏率”两个指标进行纠偏。
第一个关联指标是平台先预设好数值范围,确保最终的数据结果在该范围内。这是因为不论平台当前的整体内容质量有多好或者多差,都需要从中按照一定比例挑选出“更好”和“更差”的内容,用以配合内容分发。假设等级为4的优质内容在平台看来应该是稀有的,最高比例预设为5%,那如果最终的结果超过这个范围,就需要进一步提高等级4的评判标准;
第二个关联指标提出的原因是平台的内容主打知识内容,质量越高往往被收藏的概率越大。在数据表现上,从1到4各个等级的数据是递增并且是断层的,如果某两个等级的数据差异不大甚至递减,那则需要调整相关标准。
b.针对审核团队主观性判断风险。也可以通过“1~4各个质量等级下的内容占比”指标进行观测,与上面不同的是,在这里该指标主要是用于观测趋势变化。因为该指标数据短期内是足够稳定的,长期来看即使由于整体质量提升,各个等级内容占比有所迁移,但也是平滑迁移。所以如果短期内某等级线出现了变化,那就应该立即确认是否有质量标准调整或者审核团队人员变动的情况。
注:以上指标均未考虑0等级的情况,原因是不合规、不安全的内容标准并不会受平台质量的变化而变化,同时不具有主观性。
2、给态度——释放可见的平台优质内容信号
质量等级为4和5的内容均为平台优质内容。在功能设计上,特别是平台前期内容分发还不够完善时,需突出其在用户端的可见和可知性,比如打上“精选”“每日最佳”这类标识,即告诉平台的消费者和创作者:“你看,这是我们平台认为的好内容。”
同时可以将这类标识内容进行聚合,形成精选、每日最佳合集,以便用户进一步消费。
3、给奖惩——流量扶持与打压
在圈定完“好内容”和“差内容”后,平台能够最直接最快速给出的奖惩方式就是流量分配。
(1)不合规和不安全内容。审核不通过,仅主人态(创作者自己)可见;
(2)低质量内容。从平台来说,这类内容价值很低,如果不控制其露出对平台的整体的内容氛围/感官有较大影响,但同时这类内容又是平台允许的(扩充内容量、不设过高的创作门槛)。因此这类内容会被审核通过,但在核心个性化推荐场景将被直接过滤掉,另外在内容列表页也会被折叠;
(3)一般内容。也就是“不好不坏”,平台往往不对其做单独的干预策略;
(4)较好内容。在部分场景做适当加权,比如内容列表页排序加权;
(5)优质内容。平台最高质的一批内容,在个性化推荐场景、搜索、内容列表页均可以对该特征进行加权;
(6)每日最佳。由运营从优质内容中选出的具有代表性的内容,数量极少,主要是用于运营投放。比如站内消息推送、banner位投放等
以上流量分配的实现是否如预期可以通过引入“各内容质量等级下的内容条均浏览量“指标进行观测。
4、给成长——精细化触达低、中质创作者
低中质创作者可以定义为过去某个时间段内生产内容1-2等级在1-4等级中的占比超过某一阈值的创作者,这类用户本身具备创作意愿和能力,平台可以通过精细化消息触达,推送相关内容教程和说明,引导提升其后续内容质量。
三、定期回顾进展并更新方案
到具体执行后,随着进展需进一步补充相关策略,另外在回顾策略和数据观测过程中往往会发现新的问题,也需及时调整。
1、算法与人工审核的配合
在项目前期,除了命中敏感词库的内容直接被系统驳回,其他的内容均需要经过人工逐个审核,审核除了判定内容是否通过以外,还需勾选相关内容标签、评估内容等级,人力成本较高,且响应速度有限。
随着内容量的增多,在积累了足够训练样本后,项目引入了算法模型。涉及:
(1)低质量内容直接判定,人工抽检反馈badcase调优;
(2)一般内容到优质内容的初步判定,人工复审,算法再根据复审结果训练模型;
(3)自动生成内容标签,人工抽检反馈badcase调优。
低质量内容之所以直接由算法判定,一是因为低质量的识别难度最小,测试集准确率最高;二是从平台的角度,误判低质量所带来的损失低于误判高质量的损失。
2、更丰富的激励方式
除了流量扶持以外,针对高质量内容的创作者,平台还进行了:
(1)成就激励。包括创作者排行榜、创作者等级标识、创作者周报、创作者证书、颁奖典礼等;
(2)物质激励。在常规创作者激励活动中,满足相关条件的创作者可以获得平台补贴。
3、抄袭驳回
由于创作者激励活动对存在金钱补贴,部分创作者为了最大化得获得补贴,出现了抄袭现象。抄袭对象为平台内的其他优质原创内容,并且往往通过“缝合拼接”多个其他创作者的优质内容实现。
在此背景下,平台上线了内容管理端的抄袭识别功能。其中抄袭识别功能是通过高亮存在抄袭的内容,并且由算法计算出整体抄袭率,超过某一阈值,系统直接驳回。
4、黑名单用户
针对生产不安全内容、抄袭内容的用户,在首次平台均会发出警告。如果二次触发,平台运营会根据其恶劣程度选择短期、中期、永久性冻结该用户账号。
以上便是笔者在UGC内容质量提升策略上的实战分享,由于经验有限,不严谨的地方欢迎指正和探讨。下一篇笔者会对个性化推荐进行介绍,欢迎关注。
本文由@wen 原创发布于人人都是产品经理,未经许可,禁止转载。
题图来源于Unsplash,基于CC0协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
你们都好厉害,我默默的点个赞
楼主,你们是什么类型的内容?新闻类?
金融垂域的问答内容
楼上说的对,而且补充一点,内容质量不能单独遵循行业或专家标准,还要从产品受众出发,受众喜爱的可能不是传统意义上的高品质内容,但数据表现可能更好。
不知是否有看我的文章(或者只看了图??),你所提及的“内容质量不能单独遵循行业或专家标准”:非常赞同,所以需要引入真实的用户数据指标,不断调优标准文档,详见文章。
有幸做过内容方向的策略产品经理,也先后落地过低质及优质内容的机器识别策略,针对版主我说一下部分遇到的不可行点;
1. 内容分层过于精细
内容质量区分为五个阶层,实际操作或许不可行。部分内容如低质与不准入,人工审核区分是比较简单的,但是如果需要人工审核区分出一般,优质,精品,这个是比较难的,即使有相当详细的审核规则,如丰富,权威等规则,也会造成同一批内容不同审核人员给出不同的审核结果,无法用于后续训练机器策略;并且会降低审核人员效率;
2.再说指标问题
选用阅读时长或者完读率作为衡量质量的指标的不可行之处在于,内容是层次不齐的,存在长短文本的差异,长文本诸如2000字的行业发展报告,阅读时长一般都会长于200字的一年级作文,但是不能以此为依据发展报告就一定优于作文,这一点我认为要从垂类出发,不同的垂类内容制定不同的衡量标准,或者直接从结果出发,cpm高,cvr高的内容定义为优质,再去改善这部分优质内容存在的显而易见的低质问题;
3.针对低质内容的处理方式上
低质的特征点还是可以细分的,部分是能够通过机器策略直接识别并自动修改的,这部分内容应当在修改后重新进入人工审核,而不是直接下线;例如非主观的的低质,我的写作水平就是很差,存在标点符号缺失,段落不分段等问题,但是我的内容比较丰富,那么我们应当着手帮助用户需改,提升他的作品质量;
4.作品内容质量不是定死,或者固定不变的
给内容质量打标签,这些标签并不是固定不变的,可以设置一些后验数据阈值,例如200收藏晋升到下一层级,否则我们主观认为他低质,不给予分发,但实际有很大的需求量,这部分内容也是相当重要的;
感谢评论,针对这4点我回复下,希望越辩越明哈:
1、内容分层过于精细——不管分3层还是5层,都会存在不同审核人员给出不同的审核结果这个问题,毕竟“好内容”是带有主观性的,文章里有提到引入关联指标去监控,从平台的视角是允许人工审核错误/不一致的,只要最终的数据落在预设的范围。另外,分层分几级、可不可行,需要和运营侧结合平台内容的实际情况进行评估,也如文章所说“不同平台由于所处阶段、定位、资源配置、内容量级、内容风险程度等原因,在质量等级划分和评定方式/流程上各有不同,但核心思路均是通过质量划分,将好内容和差内容进行足够精准得圈定以配合后续的奖惩策略”;
2、指标问题——你说的问题其实和“阅读时长”、“完读率”没啥关系,而是与平台的核心指标“日人均停留时长”有关,毕竟前两者都是为核心指标所服务。你举例的行业发展报告与一年级作文,如果行业发展报告整体能带来更高的“日人均停留时长”,那从平台来说报告就是优于作文的,这没啥毛病。可以再回过头来看看“日人均停留时长”,文章将这个指标拆解成了3个指标,用户浏览的内容量、完读率、完读所需时长,这3个指标其实是相互制衡的,这也是提升核心指标的难点所在。你所说的cpm\cvr,电商和广告平台常见,在文本平台作为一个拆解指标可以(替代“浏览内容量”),但如果要作为核心指标,结果会是标题党盛行、劣币驱逐良币;
3、低质内容的处理——(1)不安全内容是直接驳回,带有驳回理由,用户可以选择重新修改后提交;(2)排版问题不影响最终的质量等级评定,如果排版已经严重影响了阅读,审核是有权利直接修改的;
4、内容标签动态调整——针对存量内容标签问题,这篇文章没有说,计划是在下一篇个性化推荐里提及。针对低质量内容,平台审核标准简单,人工误判概率极低,因此这些内容永久不会被推荐(badcase量太少,对平台分发影响微乎其微,除非平台审核标准发生质变);针对非低质内容,是可以正常进入推荐池的,高质内容会在前几天被推荐加权,如果某个中质内容实际有很大的需求量,是完全有机会反超高质内容的。