推荐策略产品经理:构建标签体系的二三事
编辑导语:如今在这个大数据时代,标签已经成为了很多平台必不可少的一个功能,最常见的比如购物网站,会增加一些标签方便用户查找,避免无用功;本文作者分享了关于构建标签体系的一些经验方法,我们一起来了解一下。
一、标签体系:definition & effect
1. 什么是标签体系?
什么是标签体系呢?
简单说就是标签体系就是分类,而且是对全集的分类,“把内容或者用户依据统一的规则分到不同的类别中去,类与类之间彼此有联系,这就构成了标签体系”。
通过分类的对象是用户还是内容,基本将标签体系分为两种:
- 用户标签体系;
- 内容标签体系;
两者的区别主要体现在分类后使用上,在确立分类体系的时候并无根本性的区别,故在后文不做区分。
2. 标签体系有什么用?
仔细思考一下,用标签与类别代表群体,将个体抽象化,这是为了什么?
我觉得最大的作用是运用于“个性化”和“精准化”的事项,因为个体体征被高度抽象,就有了可使用的价值;比如一个短视频,划分到搞笑-鬼畜视频的分类中,就可以专门针对性地推荐给喜欢看鬼畜的用户,内容与内容之间、用户与用户之间、内容与用户之间的对应,背后全都是标签在其作用。
你接收到的商品推荐、视频网站推荐给你的猜你喜欢、地图软件给你推荐的出行方式,交友软件给你推荐的心动嘉宾,这些都是标签之间的一一对应。
比较典型的应用场景有:精细化运营策略的制定、客户关系系统CRM、广告推送的方式、个性化推荐系统推送系统的搭建。
标签帮助平台更好地了解平台里的内容特性、也更了解平台中的用户特征,而更充分的了解,也意味着更好的满足用户需求。
二、标签体系:how
1. 按照MECE原则制定标签体系
在标签系统运用之前,PM最早起到作用且关乎到后续标签体系整体效果的重要一步就是制定标签划分的体系与标准。
在制定标签体系的时候,一般依据MECE原则进行(全称Mutually Exclusive Collectively Exhaustive,中文意思是“相互独立,完全穷尽”),也就是我们常说的“不重不漏”。
在处理分类事情的时候,很多时候是存在灰色地带的,有些既可以划分到A类,又可以划分到B类,好的分类体系可以减少这种情况出现的频次,这就是尽量“不重”。
同样在分类的时候,因为内容和用户的复杂性,也会出现有些无法划分到当前分类体系中去的情况,在构建分类体系的时候也需要我们尽量做到“不漏”。
在构建标签分类体系的时候,有三点经验可以供参考:
1)以竞品体系为根基,做适配性修改
参考竞品所做的标签体系,再结合自己的业务特点进行修改,可以先用竞品的分类体系抽样对自己产品的内容/用户进行分类标注,可以快速发现哪些标注分类是缺少的,哪些存在分类不清的问题,再进行针对性的改动,不断迭代自己的体系。
2)明确业务导向,标签需要为业务目标服务
这是指比如你建设视频的二级分类标签体系,是为了更好的给用户做个性化推荐,那么需要思考,哪些内容在推荐上具有共性;比如游戏内容,二级分类分到游戏攻略,这是很难给用户做推荐的。因为显然没有用户对游戏攻略这个分类内容感兴趣,而如果划分为角色扮演游戏,这是可以推荐给喜欢RPG游戏的用户的。
3)标签分类附解释与case
因为PM不是直接进行数据标注的人,实际进行标注的一般是外包标注人员,在信息传达的时候难免有损耗,如果不将标签的具体含义以及相应的case附上,很容易造成PM单方面自嗨,实际标注效果不尽如人意的情况。
2. 设置合理的标注与检验流程
在标签体系初步制定之后,就该进行到下一步,实际标注了,从我自己的实际上手体验来看,这部分是坑最多,最容易出现问题的部分,需要PM和标注人员进行反复的沟通,反复的迭代,最后才能交付较好的标注数据,供训练模型使用。
在这里给出两种标注流程,具体使用哪种需要根据自身业务特性与人员配置来决定。
第一种是单层的,高级标注人员负责任务下发、抽检、人员培训,这种适合高级标注人员素质过硬,且能力较强,优点在于中间流程较少,信息传递不容易出现偏差,整体时间也偏长。
单层标注流程
第二种是双层的,在高级和初级标注之间增加一层中级,负责标注质检和确定部分不确定case,这种优点在于每个人负责的事情相对较少,不容易出现差错,且责任到人,对个人能力要求相对较低。
双层标注流程
双层中,具体各方职责如下([T]中T代表当天,T+1代表第二天):
PM:
- 负责数据抽取[T]
- 对齐高级标注人员不确定的case[T+1]
- 评估标准的更新与修正
高级标注人员:
- 负责标注任务的拆解与下发[T]
- 对齐中级标注人员不确定的case,自主判断给出分类,如果个人无法确定,再与PM对齐[T+1:下班前对齐]
- 标准更新,对齐标准的传达与人员培训[T+1]
中级标注人员:
- 收束每天初级标注人员标注中不确定case,自主判断给出分类,无法确定再与高级标注人员对齐[T+1:先进行这部分,T+1下午3点前对齐]
- 负责抽检初级标注标注确定的部分(抽取比例需讨论)[T+1:后进行这部分,T+1结束前完成]
初级标注人员:
- 负责完成高级标注人员下发的标注任务,对于确定的case进行标注,对于不确定的给出初步判断,并提供给中级标注人员[T]
3. 标签体系的优劣衡量
在对标注结果进行数据验收的时候,更多的是采用准确率和召回率指标,准确率对应不重、召回率对应不漏,即“分的准+有的分”。
一般来说,准确率能达到85%以上,召回率能达到90%,整体数据可用性就达到要求了,如果标签体系建立的合理且优秀,执行也很出色的话,部分可以做到90%以上的准确率。
在标注过程中,有两个准召情况(更多看准确率)需要重点关注,一是标注人员的准召,二是标注类别的准召。
前者能让我们更了解不同标注人员的素质,进行更合理的人员培训或者任务分配,后者让我们更了解不同分类的标注难易情况,对标注标准与规范进行不断地迭代完善。
三、标签体系避坑指南
虽然整体来看负责标签体系是较为枯燥的,但这并不是一件容易事情,如果没有考虑周全,在标注过程中非常容易出现问题,从而拖慢标注进度,影响最后标注数据质量,最后影响模型效果。
在此我也罗列几个容易踩的坑,希望大家可以尽量规避:
1. 标签标注的流程搭建
坑一:标注体系在标注中并非不可更改,但如无必要,勿增“其他”。
不管初始设置的标注分类体系有多好,在实际标注中,还是会出现“重 or 漏”的情况,遇到这种情况的时候,错误的处理方式是胡乱塞一个分类/强行塞进分类。
如果仍然碰见重的情况,根据标注的目的进行判断,比如作用于推荐,A类用户更容易更喜欢这类内容,则将其放置于A类则明显更合适。
而尽量不增“其他”是说尽量不要在标签体系中给予标注人员可以偷懒的大而全的分类项;比如在军事分类中,给一个分类叫“军事相关”,这个是很难定义清楚的,标注人员不确定的东西容易全塞这个分类中,导致在推荐中难以被使用。
坑二:标注层级无序,标注进行混乱
PM与直接标注人员之间不应该是单层的关系,而是需要有中间层来负责分发标注任务、把控标注进度、进行标注检验,这中间层级当然并不是越多越好,一般1-2层足矣。
2. 人员管理与培训
坑一:少干预,任由发挥
首先要记住,标签数据的积累一般涉及到众多的标注人员,而一旦涉及到人,则需要PM进行管理,缺少干预,让高级标注人员进行统筹,一般来说效果是欠佳的;因为人存在惰性,且如果没有干预的话,标注效质量好坏对于标注人员来说其实意义不大,也会影响整体标注效果。
这需要我们建立相应的奖惩机制,对于标注质量较高的个人,给予奖励,而对于标注质量较低的个人,需要给予一定的惩罚或者激励,只有这样才能有效提高标注人员的标注效率和质量。
坑二:朝令夕改,标注人员无所适从
在标注过程中,可能会存在对于标注分类进行增删改的操作,这种操作不易过分频繁,频繁不但会导致之前积累数据的可用性差,拖慢标注数据积累速度,也会导致标注人员的混乱,标注质量的劣化。
好的标注流程当然不反对进行增删改,但需要更多集中在早期,对应工厂生产,在产品研发和产能爬坡时期,标注的可用性不是最应该关注的指标;而应该是标注体系的完善,标注人员的培训,当这两个做到位的时候,接下来就可以积累标注数据,推进标注工作有序进行了。
四、小结
整体来说,标签体系的构建是内容理解和用户理解的重要组成部分,也是策略实行的基础之一;如何设置合理的标签结构,标签分类,如何有序高效地推进标注数据的积累与标签分类模型的搭建,以及最后策略的运用,是PM需要掌握的一项基本技能。
而将基础的事情做好,并不容易。
共勉~
#专栏作家#
随心将夜,微信公众号 : 互联网菜鸟产品进阶之路,人人都是产品经理专栏作家。关注社交赛道和社区发展,擅长分析行业趋势。
本文由@随心将夜 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自Unsplash,基于CC0协议
请问下如何衡量人和标签的准确率和召回率呢?
高级外包re,产品本人在此基础上也要抽re,召回比较难,准确还好
加质检 二检 事后抽检 定期评估 都可以
大佬可不可以讲些标签策略相关啊
下次有机会聊