编辑导语：用户行为或偏好并不能单纯用数据衡量或展现，若想对用户的行为有更好的理解，除了采用量化方法外，做好主观评估也是一个重要方面。那么，如何搭建好一个主观评估体系？本文作者阐述了主观评估体系搭建的原因、人员与方法，一起来看一下。

在一次面试中，面试官问我，你觉得什么是策略？

我心想，最难回答的就是这类“大空泛”的问题，只能尝试说了说自己的理解。

面试官听完后，指着我简历上的一句话说，策略就是用数据去驱动产品，你其他所有的活动，都要以此为基础。

这位面试官毕业于数据科学专业。而数据贯穿策略立项、发展和落地的全过程，谁掌握了数据，谁就掌握了话语权，也是现在大部分互联网公司的常态。

但是对于很多内容型产品来说，数据也许无法说明一切。

一、为什么需要主观评估？

技术人员和教师的话术体系不同，一个更关注数据，一个相对感性。不过，数据模型只能部分反映业务，它是一个最简单的语言，简单就失之细节，就意味着没有全貌，所以不能靠数据判断一切。——侯建斌

一家在线教育公司在社群中引入了智能对话机器人，平台不再只是群发营销信息，而是能和用户聊起天来，能主动挖掘用户需求，回答用户的问题，并在对话过程中收集用户偏好，用于后续的内容推荐。

这套系统上线后，用户的活跃度和内容的点击率都直线上升，从数据结果看，无疑是非常成功的。但数据并不能说明一切，因为算法只关注概率，没有关注到用户本身。比如智能对话和推荐算法的确帮助用户找到了更符合自己需求标签的内容，但这一内容带来的实际体验如何，却不得而知。

我给用户推荐一套视频课程，用户看完了视频的一半以上，但其实完全没有被吸引到，在坚持学了一个星期之后，终于放弃。我们通过点击率、完播率和7天留存等数据来分析，这可能是一个good case，但实际上这个用户已经流失了，而且是在丧失了平台向心力的情况下。他可能会跟周围的人说，这个平台的课不好，或没用。负口碑对在线教育来说将是致命的。

那这个问题应该怎么解呢？很多人第一反应可能是：遇事不决做问卷。

但问卷也不是万能的。考虑到我们上篇文章提到的“先验概率”问题，如果你是发放无偿问卷，那么回答率会很低，而且很可能平台重度用户的比重过大，置信度降低；如果是有偿问卷，回答率会提高，但根据消费心理学我们知道，市场规范取代社会规范，人们可能会隐藏起自己真实的想法，你还能拿到想要的结果吗？

这时候，就需要用到主观评估的能力了。在一些量化方法有局限的场合，由专人对产品、内容和策略进行主观性的评估，将有助于我们理解用户行为，更好地评判长期利益。

二、谁来评估？

首先排除程序员（笑），普遍的技术信仰和数据导向，让他们不适合做内容的质性分析。

应该是策略产品经理或战略团队，尤其是具备人文社科学业背景，或是当前内容垂类的professional。总之，你必须了解人，再了解你的用户，最后了解他们想要什么。主观评估必须要拿到两项关键信息，即用户价值观和平台价值观。

用户价值观就是要在足够了解人们的心理，人与人交流的方式，以及互联网媒介带来的变革的前提下，去总结用户的需求，然后给内容设置标准。比如我们常说的马斯洛需求体系，就是教育学理论的一道必考题。

不同用户需求，对应着不同的金字塔层级，你要做的是将每个层级的需求转化成比较明确的标准。

比如”自我实现“，很多成绩优异的同学不满足于校内课程，想要追求更大的能力提升，这时候内容应该提供的首要价值就是”新“，能让用户看到平台对卓越的追求。如果只是从一般教学视频自动切片并生成的短视频，显然是不过关的。

平台价值观则要求在满足用户需求的基础上，做出自己的风格。比较基础的方式是给本平台内容加各种包装、片头片尾水印等等，需要把控这种直接标记对用户体验的影响。更高级的方式是形成自己的风格，在这方面苹果公司是最杰出的代表之一。

“苹果风”贯穿了苹果各产品以及下游的宣发、营销环节：iPhone Mac的极简风格设计，“你的下一台电脑，何必是电脑”这种令人印象深刻的slogan，再到文案 、海报等宣传物料，都有一种强烈的统一感，他们共同构成了苹果价值观。

编剧宋方金曾趣言，美国的乔布斯老师把单纯的商品卖出了价值观，而我们把价值观当成商品在贩卖。所以你可以得知，平台风格和品牌调性，绝不只是内容和创意团队应该考虑的事情。

三、怎么评估？

说了这么多，主观评估不是拍脑门决策，要想让所有人信服，必须非常注重方式方法，保持科学性。

1. 评估框架

必须建立起稳定可持续的评估框架。分级是我们通用的思路，这点可以借鉴米其林餐厅的评价标准。所谓“众口难调”，米其林是评价一家餐厅的优劣的？

1. 给所有样本分级，并且精准定义每种级别代表了什么，如何评判。
2. 控制比例，一星到三星的数量逐渐减少，让高级者成为标杆。
3. 不局限一种评级方式，让有独特价值者脱颖而出。

在这种评估框架下，你也将建立起一套价值体系，它将独立于数据评价体系之外，在对产品的综合评价中占有一定的权重。

2. 决策体系

对于司法审判，大家的常识是什么？先由中级法院审理，不服上诉后由高级法院审理。特殊情况会上报最高法院，最高法院还具有司法解释权。

在主观评估中，最常遇到的问题是就某一问题长时间不能达成统一，无法及时决策，增加沉没成本。这时候我们也可以建设一套团队内部的judge体系，例如：

1. 一级讨论：项目的直接相关者，比如策略产品经理和算法工程师。
2. 二级讨论：拓展利益版图，如征求运营团队和战略团队意见；或提高参会者级别。
3. 最终解释：项目组的最高管理者或专家最终决定。

这样建设的一套决策体系，只是在内部意见很难统一时的解决思路。实际上，如果策略产品经理的经验较为丰富，或团队合作较为成熟时，评估并改进的流程跑通，未必需要复杂的三级决策。

四、总结

本来最后一个问题应该是，如何让主观评估的效果最大化？这个问题的本质还是让主观评估得到团队全体成员（包括策略产品经理）的重视，认同评估结果并迅速展开行动。前文已经讲了很多，就不再重述了。

Talk is cheap , show me the data.

这句话已然成为IT行业的一句流行语。但我觉得，talk本身不cheap，随便的talk、书呆子talk才cheap。

尽管现在大家都强调技术信仰，但主观评估作为充分发挥人类意识和主观能动性的手段，仍然是策略产品经理，尤其是人文社科出身的产品经理实现弯道超车的重要方式。

张一鸣说，同理心是地基，想象力是天空，中间是逻辑和工具。只有人类才能真正理解人类，且让我们把地基慢慢建好。

本文由 @学产品的小学生 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议