改版效果如何评估呢？作为PM ，如何跟Leader汇报产品的改版效果？

昨天，微信订阅号将采用信息流设计的一则消息刷爆了新媒体运营圈，在一些产品、运营社区上也引发了热议，最后总结：还是要用数据说话。所以，如果你是微信的产品经理，对于此次改版，你会如何通过数据进行评估？今天，以微信订阅号的改版为例，跟大家谈谈产品改版评估这件事。

将传统的折叠方式变为更为直观的feed流模式。

一、改版评估的重要性

大多数产品经理对改版评估这件事都比较头疼，要么粗略评估，要么直接扔给运营或数据部门出数据，通常也都只是对比一下新版本的用户增长情况，对比一下新旧版本活跃、留存的影响。要知道，每一次改版都是产品和用户的一次重新认识，改版如果是正向的，可能会带来增长，如果带来的是不增不减还好，可怕的是因为一次改版带来用户体验和信任的降低，造成流失，而这样的案例也太多太多。

所以，对于产品经理来说，上线一个新版虽已身心疲惫，但用数据量化你的成果也是重中之重。评估其实很简单，掌握了方法，用户数据说话，没准以后就可以站着改需求了。

二、如何进行评估

1、明确改版初衷

不是每次都适合看新增、留存、活跃这些统计指标，正确评估的第一步是回到产品设计的初衷，因为每次改版一定是有目的的：优化了购买路径一定是想提升购买转化率，优化了某一页面的设计一定是想提升当前页面的用户体验，体验的提升带来的可以使用户在当前页停留时长的增加，可以是当前页面核心功能点击人数次数的增加，或是社群中核心用户的几句正向反馈。

所以，从改版目的出发，每一次改版都是可以衡量的。我们以微信订阅号信息流的改版为例：

（可能的）改版初衷：

解决目前订阅号被严重折叠，粉丝图文页打开率低的现状

改版内容：

• 提升“内容”的显示等级（新版：1级；旧版：2级）；
• 优化用户从列表到文章详情的路径（新版：1步；旧版：2步；）

（可能的）改版目的：

• 提升订阅号入口的打开率
• 提升原图文的打开率
• 提升平均每个用户每天在图文页查看公众号的个数

2、明确评估指标

基于改版目的，我们需要提前明确评估指标，通常一次正向改版会带来多项指标的提升，此次评估我们以3个最直接的指标来衡量：

指标1：订阅号入口打开率

说明：无论是路径进行了优化，还是界面进行了优化，都会带来用户对这一功能整体好感的提升，一定程度上会提升这一入口的打开率；

指标2：原图文打开率

说明：更多的信息在列表页得以展示，从列表到详情实现了路径最短，用户在订阅号功能模块下的使用效率提升，每一次打开能看的文章数也会增加；

指标3：平均每个用户在图文页查看公众号的个数

说明：同指标2的解释，更多的文章得以曝光，也就意味着更多的内容创作者得以曝光。

3、设置实验组和对照组

我们以指标1为例，当明确了评估指标，首先是要对当前现状有所量化，这样改版后才能形成对比。

对照组：

通常我们会筛选旧版本一段时间的新增用户，这一段时间可能流量平稳、没有大面积推广、没有全民热点事件，评估这段时间新用户使用这一功能的人数、次数、活跃比（活跃比：当天活跃的人中打开这一功能的百分比），我们假设微信的新增较少，在每一天的活跃都是存量用户，新增活跃几乎可以忽略，并且每一天活跃的用户类型都比较平均。然后查看这一人群在这一段时间的打开率。

对照组

实验组：

新功能上线以后通常会带来用户的一阵新鲜感，基于对照组中我们对微信新增较少而将样本筛选为活跃用户的假设，导致我们需要在上线之后用户讨论热度过后再来衡量，时间跨度和条件与对照组相同。然后对比这一入口在这一段时间的使用人数、次数、活跃比的变化。

实验组

对特定人群的分析也是改版评估非常重要的方法，也即衡量功能对特定人群的影响，可以基于用户环境信息、用户属性维度，甚至用户生命周期去对比。指标2、指标3逻辑类似，由于数据了解有限，我们只对分析思维进行阐述。

4、得出结论

得出结论的过程是直接影响我们定义他正向与否的关键，对数据的解读也是重中之重，不能缺少的是明确出我们对样本数据的假设条件。

5、持续验证

基于时效性的需求，通常我们会在灰度阶段或者刚上线一周内进行基础评估，在正式环境的表现以及用户对这一重要功能的持续粘性也是也是需要持续观测的，包括对其他核心业务指标的影响。

总结，在明确了改版评估的重要性后，我们以微信的一次改版为例，总结了以明确改版初衷为起点，从指标定义、到实验设定、到最后的结论和持续验证的5步方法论，并且对于评估过程中的实验组、对照组的划定和假设做了讲解。希望对于产品、运营从业人员的有所启发。

说明：本文仅是对于此次传闻内容自己的理解，并不代表微信确定会进行这次改版，并且基于文中提到的指标进行评估，意在传达产品改版评估的重要性以及分析思维和方法论，仅供参考。

本文由 @诸葛io韩重明  原创发布于人人都是产品经理。未经许可，禁止转载。

题图来自PEXELS，基于CC0协议