【初阶产品生存指南】产品经理评估的那些事

2 评论 1486 浏览 5 收藏 16 分钟

产品经理作为一个产品的最终负责人,需要把控整个产品的发展方向,并做出迭代过程中的决策。这个过程中,可能离不开大量的评估工作。那么,评估方案如何设计?有哪些注意事项需了解?这篇文章里,作者做了梳理,一起来看。

一、我理解的评估

产品经理的工作离不开大量的评估。尤其是刚刚入行的小白产品经理。

那么为什么产品经理需要这么多的评估呢?我理解,产品经理是一个产品的最终负责人,整个产品的发展方向,迭代过程中的决策,推动产品迭代在大多数情况下是产品经理的职责。如果没有对整个产品的准确把握,很难做出正确决策。同时,当所做的产品功能不被团队其他人理解时,也不容易和其他人目标达成一致,推动产品的迭代。

在实际的评估工作中,我发现,更多的评估是进行数据评估。因为数据是对产品现状和存在问题的定量化反映。可以更精准地把握产品目前的状况。并且定量化的数据也更具有说服力。

人对一个事物的认知总是从感性认识到理性认识,从现象到本质。面对大量的,复杂的,甚至是有错误的数据时,如何通过评估掌握真实的产品情况呢?这就需要有科学的评估方案和评估指标作为支持。

因此,可以这样定义评估。

评估就是一种通过科学的评估方案和评估指标找出产品存在的问题、掌握产品发展现状并与团队目标达成一致,辅助产品决策的一种手段。

产品决策是什么呢?

产品决策就是决定做不做,做什么,什么时候做,如何做,做到什么程度的一个过程。这个过程是一个自上而下的过程,通过评估对象拆解出核心指标。核心指标需要从公司、产品自身和用户角度去思考。同时,也要综合考虑影响面和成本大小。

通过以上论述可知,评估仅是产品决策的一部分,同时也是最重要的一部分。

二、评估方案设计

上文也有提到,评估在大多数情况下是对数据的评估。

数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。

数据够真实,能表示客观事物,但是很芜杂,甚至会包括一些干扰评估的脏数据。所以数据评估就是一个简化数据且不失真的过程。要想实现这个目标,就需要对评估方案进行科学的设计。

评估方案是在理解产品业务和拆解出核心指标的基础上,系统性的评估。我在刚开始做评估时,经常是上手就开始做,做到一半,甚至快做完时发现,我tm做错了,各种返工。因此,评估方案不提前设计好,就会有盲目行动,浪费时间和资源的风险。做好评估方案是很有价值的,可以有效的降低风险,提升评估效率,形成有效客观的评估结论。

虽说我后来慢慢认识到了设计好评估方案的重要性,但是在实操过程中还是会犯一些错误。比如:

过于主观。在评估过程中,有意识无意识的就会把评估结论尽可能往自己想要的上靠。导致有些评估是失实的,不可靠的。

过于量化。这是在评估做了一段时间之后很容易犯的一个错误,而且还不易察觉。有些东西是不适合或不易量化的,我在评估的时候遇到过一些比较偏主观或感受的评估。结果给搞出一个奇形怪状的指标。

埋头评估,自我感动。做了一段时间,尤其是掌握了一定的评估技巧之后特别容易犯这个错误。有了评估工作后,一顿操作。做的确实不错,但是没有考虑到产品、行业背景。我在评估一个数据时就是因为没有考虑到目前行业中的现状,把指标定的离谱的高。

不进行数据清洗。我记得我老大曾经对我说过,做产品经理要对任何结论都保持怀疑的态度。这一点,我在刚刚做评估工作时做的很差。我以为自己的数据评估做的很好了。但是最终check评估结果时发现,原始数据就是不准确的,导致后续做的所有工作都是错的。

因此,评估方案要满足客观、科学,准确,定量与定性分析相结合的原则

说了这么多,评估方案要如何制定呢?

首先,确认评估的时间周期。如多久要结果(ddl),有没有关键时间节点。时间长有时间长的评法,时间短有时间短的评法。如果需要短时间给出部分结论,可以优先评估一部分数据。因此,确定评估的时间周期,可以更好的确定评估工作的整体优先级,评估的方式,评估的节奏,人力的投入等。

其次,确定指标标准。关键指标有哪些,衡量的基准是怎样的。比如,我在评估某项数据准确率指标时,原有准确率大概在70%左右,有了这个基准,我就可以做对比,来评估准确率是提升了还是降低了。另外,指标不可过多。一个方面一到两个指标即可。

再次,确定数据的收集和处理方法。是看后台数据日志,还是问卷调查?是用户访问还是竞品分析?方法很多,要综合评估时间要求、数据与指标合适程度等因素进行选择。同时,对数据的来源,数据的处理要做到准确。这是评估的根基,它错了,所有的评估都会错。

最后,确定资源的安排。能有多少人投入?评估人员的熟练程度如何?收集方法是否非常耗费人力?时间安排是怎么样的?综合考虑后,进行安排,如果没有人力就要向上汇报,或申请人力投入,或申请延长交付时间。

三、评估的标准

评估标准包括两个方面。一是评估维度和指标的确定。一个指标的标准。

没有一个评估是可以完全覆盖到评估对象的所有维度的。所以评估的维度和指标需要根据评估的目的去制定。

指标的标准有两方面。一个是外部标准。比如某个数据整个市场的大盘覆盖只有50%。所以50%就是指标的天花板,我们要看的就是和外部市场覆盖的距离。第二个是内部标准。它是产品团负责队制定的标准。还是上面的例子,可能因为人力,资源集中程度的问题,我们能做到达到覆盖30%就算是最优的效果了。那我们评估时,就要看我们目前和制定的内部目标距离是多少。

在制定的过程中可能会存在如下的问题。

缺少某些评估维度。这可能是因为评估经验较少导致的。比如,在评估某些数据质量时,搞出了很多的数据准确率。如A项的准确率,B项的准确率,C项的准确率。这些指标仅仅是反应了准确率如何,并且也可以通过一个更高层级的总准确率去评估。这些数据的覆盖率如何呢?重复率呢?

所以,制定过程中建议先确定维度,后确定指标。避免遗漏。为了避免遗漏,我觉得可以从一点两面去梳理。一点是目的,所有维度的选取都要基于评估目的。两面是行业或市场背景、评估对象自身。比如,评估一个UP主的视频质量。市场来说,可以对比其他平台同类型视频和UP主视频的比较。视频来说,可以考察视频的质量如何。

评估指标过于单一,缺少行业特色指标。这是因为缺少相关经验和认知导致的。比如就我了解的坪效来说,如果对商场缺乏认知,在评估时很可能就会考虑不到这个指标。相同的例子还有餐饮行业的上座率、开台率、翻台率等。

评估指标没有优先级。这要根据评估的目的进行指标的优先级制定。有的时候指标A可能会高于指标B,有时可能因为目的的不同,同样的数据,指标B高于指标A。

评估指标无意义。评估是为了决策,是为了传递产品优劣信息的,因此指标大多都是一个比较的结果。我在刚开始做数据评估的时候把PV当作一个指标,但是这个指标的绝对数据代表了什么呢?还是要看它和过去相同时间周期相同时间点的PV的比较才能说明优劣。

所以,评估标准的路径是,根据目标,先定性出维度,然后结合评估对象的行业或群体特性拆解出相应指标,找到指标标准,进行评估。

四、撰写评估报告

评估报告就是输出完整客观的报告文档,围绕结论展开数据分析,呈现成果并推动产品发展。

写评估报告最重要的是要有一个框架。一个完整的评估报告中要呈现的内容包括标题、评估计划、评估标准、数据收集、数据分析+结论、综合结论、未来计划、附录。

标题最好统一格式。【评估报告】-xxx(项目或功能)关于xxx(维度)的评估报告。因为评估报告一般都是发邮件,前面有一个【评估报告】方便相关人员进行邮件分类和后续查找。另外就是题目要传达整份报告的内容,所以要点明评估的对象和维度。

评估计划、评估标准、数据收集是评估方法,这部分的展现要尽可能的简单,因为它不是报告中最重要的部分,但是却要说明的部分。所以要用简练的话语点出以上内容。同时,评估方法尽量简单易懂。

我认为评估结论最重要的就是克制,千万别演绎,要遵循逻辑。有什么指标就推导出什么结论,如果指标无法推导出,就看能不能增加一些评估指标,而不是想当然的下一个不合逻辑的结论。同时,评估结论也要结构清晰,重点突出,有助于决策判断。能够回答一些问题,如是否问题(是否好/坏)、价值问题(A比B好,好多少)、取舍问题(成本VS收益)。

对于新手来说评估结论也比较容易犯一些错误。

以数据代表结论。数据是结论的基础,但它不是结论本身,所以在最后呈现的时候要通过评估数据解读出一个定性的描述。

数据堆积。需要选择重要的关键性指标进行分析,得出有启发的结论才有意义。

评估是为了决策,发一份报告绝不是评估的终点。认识的发展也是从理性认识到实践的过程。报告是理性认识,制定TODO才完成了评估的闭环。制定TODO时要注意,要根据结论制定计划,保持优势,有优先级的补齐劣势。

最后的附录会附上一些评估的原始数据,数据来源等不需要呈现但可能会被报告阅读人关注的事情。

五、评估注意事项

评估过程中,要秉承以下评估态度

避免盲目、聚焦核心目标、直接敏感性、客观科学、不掺杂主观情感。

在实际评估工作中我一直在找寻一些提高效率和准确的方法

就数据获取来说,有的时候我想要一份数据需要开发同学各种跑数据。但是开发同学手头也有很多的项目在跟。这时如果自己会写sql语句,就可以自己去看数据了,无须开发同学排期跑数据。节省很多开发成本和沟通成本。

就数据分析来说,要善于使用excel中的公式,比如VLOOKUP公式,IF公式等,多借用关联关系和演算逻辑。还有在处理量比较大的数据时,excel可能跑不动,如果能使用python处理较大量级数据就会大大提高效率。

就报告来说,总结出一份自己的报告模板也会大大提高效率。

在保障准确性上,要注意以下几点:

一定要对原始数据进行清洗,剔除脏数据。

尽可能减少数据流转的路径,尽可能用一份数据或放在一个表里分析。

统一整体评估标准,严格遵循逻辑。

同时减少手算,多用公式计算。可有效提高准确性。

最后,回到评估的定义。评估是一种辅助决策的手段。因此,一切都要为决策服务。上文提到的是一个全面评估所需要做到的方方面面,在实际评估工作中很难全涉及到。所以在评估时,不可僵化,生搬硬套。

要想提高评估水平我认为就两个方式,多实践、多总结、多看优秀评估报告。

参考:

  • 公司内部培训
  • 工作实践总结

本文由 @孟老湿 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 学习了

    来自北京 回复
    1. 感谢认可

      来自重庆 回复