产品策略模型的构建，本身是一个复杂且需要在实践中不断打磨进步的过程。很多时候一番计算得到的参数，不如二分法试出来的参数好。很多看似没有严格数学证明和依据的简单策略，却能起到好的作用。

0. 前言

对于大多数人而言，产品策略模型是个黑箱。有的人觉得它无所不能，有的人觉得它华而不实。偏见的产生，大多是因为不了解。

之前的文章比较偏细节，这篇文章会从大的方面入手，说明我的产品策略模型的方法论，表达我对产品策略模型的理解。

1. 模型没有高下，只有是否合适

一个模型，大到一个系统，小到一个公式，都没有对错之分，只有能否满足产品预期。好的模型能够在有限的计算量内，达到产品情景的要求。而差的产品模型也许在纸面上很精确，但是无法满足产品情景的要求。模型就像是个工具，不能说锤子是错的，扫把是对的，只能说锤子在砸钉子的情形下是满足预期的，是好的工具。锤子在扫地的情形下是不满足预期的，是不好的工具。

“推荐系统一定要用协同过滤或者机器学习”，“搜索系统一定带语义分析模糊匹配”，“排序系统 一定要用edgerank”，这些都是先入为主地为算法划定的高下，缺没有考虑是否真正符合要求。

2. 信息量！信息量！信息量！

对模型做一下简化，可以更方便的理解信息量的重要性：把一个模型看做一个黑箱，只有输入和输出两端。输入的信息经过分析计算，然后输出最后的分析结果。在模型分析能力相同的情况下，输入的信息量越大，分析结果效果越好。这样能承载的信息量，成了一个模型的关键因素。当然，处理的信息越多不见得效果越好，但是随着模型的发展，能处理更多信息的模型最终一定结果很好。

3. 指标！指标！指标！

算法迭代需要目标值。比如对于AlphaGo 而言，目标是获胜。对于搜索而言，目标是是准确率、召回率，或者人工评估的nDCG值。（详细说明可以看之前的专栏文章：五分钟了解搜索的原理），对于一个算法而言，一定是有一个目标值的，而这个目标值需要在算法模型迭代的过程中，可以随着模型的变化而变化，确定迭代方向的是否正确。

一个比较通用的方法是，对数据需要划出测试集，用来验证算法的效果。比如知乎推荐分析每个人数据预测出了用户为了会喜欢的内容，可以在第二天使用用户真实的行为数据和之前的预测进行对比，来确认效果。

有了指标的算法系统，除了本身迭代的好处，更多的是可以让不明白算法原理的人，能够在黑箱上看到一个表盘，知道每次迭代，算法有多大的提升。这对于项目管理和推进有很大的好处。

4. 置信区间和精度

算法结果够用就行，片面强调计算的准确性是没有必要的。比如要计算一个数据精度本身在+-1范围波动的值，而理论计算得到一个1.8的值本身就够用了，如果画费更大的力气计算出1.834，其实就是无效的。

算法也一样，要预测未来的销售或者需求变化这些本身波动比较大的数据，花大量的经历计算一个足够精确的值本身就没有太大意义，因为太精确就超过了值本身的置信区间。总结而言，精度一定要和置信区间匹配，否则就是浪费。

5. 多因素的涌现，失控的参数控制

好的算法，不会受到输入参数的扰动，而极大影响结果准确性；也不会因为数据中的极值，让结果面目全非。现实情况下，一些异常数据无法避免，参数扰动也无法避免。要考虑多个因素的系统，不能因为一个小问题引起所有结果的失效。其实和《失控》里讲的思想有点像，应该是多个因素组合后涌现出结果，这个结果不能依赖很多参数有一个非常精确的值才能起作用

一个想要完全精确控制算法参数起作用的模型，很有可能就是调整了一个bad case，又引起了一堆别的bad case。

6. 模型的边界，是人对业务的理解

模型是万能的么？当然不是。一个模型不可能把全部的信息作为入参。人能够有效的干预结果，并且根据业务经验调整算法模型非常关键。模型在淘汰掉很多简单机械工作的同时，对人的工作提出了更好的要求。

比如，淘宝在个性化推荐遍布全站之前，淘宝的页面需要大量的运营去填写补充布局，这部分工作目前已经完全被个性化推荐替代。而且效率更高。但是双十一怎么运营，什么营销测流，怎么更好的利用个性化推荐引擎，还是需要产品运营去思考。

同时，在个性化推荐的结果中，也夹杂了大量人工的智慧。大量人工的标注和边界策略保证了个性化推荐引擎的有效性。人对业务的理解让模型能够发挥更大的作用，也正是人对业务的理解形成的外围策略，构成了模型的边界。

7.总结

产品策略模型的构建，本身是一个复杂且需要在实践中不断打磨进步的过程。很多时候一番计算得到的参数，不如二分法试出来的参数好。很多看似没有严格数学证明和依据的简单策略，却能起到好的作用。

产品策略模型不是一块儿难以理解的黑箱子，但也不是短期内能通过几篇文章就能快速了解的。既不是万能的，也绝非华而不实。重要的是先想明白产品遇到了什么样的情境，需要使用产品策略模型来解决什么问题。

如果还有什么需要再最后强调的，那么就是产品策略模型一定不是完美的，永远有问题，永远有进步的空间，永远需要去思考和完善。

“若有完美，必有谎言。”这也是产品经理工作最有趣的部分。

本文由 @潘一鸣 原创发布于人人都是产品经理。未经许可，禁止转载。