产品策略模型的构建,本身是一个复杂且需要在实践中不断打磨进步的过程。很多时候一番计算得到的参数,不如二分法试出来的参数好。很多看似没有严格数学证明和依据的简单策略,却能起到好的作用。
0. 前言
对于大多数人而言,产品策略模型是个黑箱。有的人觉得它无所不能,有的人觉得它华而不实。偏见的产生,大多是因为不了解。
之前的文章比较偏细节,这篇文章会从大的方面入手,说明我的产品策略模型的方法论,表达我对产品策略模型的理解。
1. 模型没有高下,只有是否合适
一个模型,大到一个系统,小到一个公式,都没有对错之分,只有能否满足产品预期。好的模型能够在有限的计算量内,达到产品情景的要求。而差的产品模型也许在纸面上很精确,但是无法满足产品情景的要求。模型就像是个工具,不能说锤子是错的,扫把是对的,只能说锤子在砸钉子的情形下是满足预期的,是好的工具。锤子在扫地的情形下是不满足预期的,是不好的工具。
“推荐系统一定要用协同过滤或者机器学习”,“搜索系统一定带语义分析模糊匹配”,“排序系统 一定要用edgerank”,这些都是先入为主地为算法划定的高下,缺没有考虑是否真正符合要求。
2. 信息量!信息量!信息量!
对模型做一下简化,可以更方便的理解信息量的重要性:把一个模型看做一个黑箱,只有输入和输出两端。输入的信息经过分析计算,然后输出最后的分析结果。在模型分析能力相同的情况下,输入的信息量越大,分析结果效果越好。这样能承载的信息量,成了一个模型的关键因素。当然,处理的信息越多不见得效果越好,但是随着模型的发展,能处理更多信息的模型最终一定结果很好。
3. 指标!指标!指标!
算法迭代需要目标值。比如对于AlphaGo 而言,目标是获胜。对于搜索而言,目标是是准确率、召回率,或者人工评估的nDCG值。(详细说明可以看之前的专栏文章:五分钟了解搜索的原理),对于一个算法而言,一定是有一个目标值的,而这个目标值需要在算法模型迭代的过程中,可以随着模型的变化而变化,确定迭代方向的是否正确。
一个比较通用的方法是,对数据需要划出测试集,用来验证算法的效果。比如知乎推荐分析每个人数据预测出了用户为了会喜欢的内容,可以在第二天使用用户真实的行为数据和之前的预测进行对比,来确认效果。
有了指标的算法系统,除了本身迭代的好处,更多的是可以让不明白算法原理的人,能够在黑箱上看到一个表盘,知道每次迭代,算法有多大的提升。这对于项目管理和推进有很大的好处。
4. 置信区间和精度
算法结果够用就行,片面强调计算的准确性是没有必要的。比如要计算一个数据精度本身在+-1范围波动的值,而理论计算得到一个1.8的值本身就够用了,如果画费更大的力气计算出1.834,其实就是无效的。
算法也一样,要预测未来的销售或者需求变化这些本身波动比较大的数据,花大量的经历计算一个足够精确的值本身就没有太大意义,因为太精确就超过了值本身的置信区间。总结而言,精度一定要和置信区间匹配,否则就是浪费。
5. 多因素的涌现,失控的参数控制
好的算法,不会受到输入参数的扰动,而极大影响结果准确性;也不会因为数据中的极值,让结果面目全非。现实情况下,一些异常数据无法避免,参数扰动也无法避免。要考虑多个因素的系统,不能因为一个小问题引起所有结果的失效。其实和《失控》里讲的思想有点像,应该是多个因素组合后涌现出结果,这个结果不能依赖很多参数有一个非常精确的值才能起作用
一个想要完全精确控制算法参数起作用的模型,很有可能就是调整了一个bad case,又引起了一堆别的bad case。
6. 模型的边界,是人对业务的理解
模型是万能的么?当然不是。一个模型不可能把全部的信息作为入参。人能够有效的干预结果,并且根据业务经验调整算法模型非常关键。模型在淘汰掉很多简单机械工作的同时,对人的工作提出了更好的要求。
比如,淘宝在个性化推荐遍布全站之前,淘宝的页面需要大量的运营去填写补充布局,这部分工作目前已经完全被个性化推荐替代。而且效率更高。但是双十一怎么运营,什么营销测流,怎么更好的利用个性化推荐引擎,还是需要产品运营去思考。
同时,在个性化推荐的结果中,也夹杂了大量人工的智慧。大量人工的标注和边界策略保证了个性化推荐引擎的有效性。人对业务的理解让模型能够发挥更大的作用,也正是人对业务的理解形成的外围策略,构成了模型的边界。
7.总结
产品策略模型的构建,本身是一个复杂且需要在实践中不断打磨进步的过程。很多时候一番计算得到的参数,不如二分法试出来的参数好。很多看似没有严格数学证明和依据的简单策略,却能起到好的作用。
产品策略模型不是一块儿难以理解的黑箱子,但也不是短期内能通过几篇文章就能快速了解的。既不是万能的,也绝非华而不实。重要的是先想明白产品遇到了什么样的情境,需要使用产品策略模型来解决什么问题。
如果还有什么需要再最后强调的,那么就是产品策略模型一定不是完美的,永远有问题,永远有进步的空间,永远需要去思考和完善。
“若有完美,必有谎言。”这也是产品经理工作最有趣的部分。
本文由 @潘一鸣 原创发布于人人都是产品经理。未经许可,禁止转载。
爱盈利-运营小咖秀 始终坚持研究分享移动互联网App运营推广经验、策略、全案、渠道等纯干货知识内容;是广大App运营从业者的知识启蒙、成长指导、进阶学习的集聚平台;