产品改版评估除了要能规避新老用户的问题，能够用正确的百分比告诉你迭代的实际意义，更需要基于改版目的灵活、多维的去评估迭代的价值；数据更多的是衡量，除了比较，更多的要看背后为企业带来的真正价值。
微软：有1/3次的迭代带来了增长；有1/3是没有明显作用，甚至有1/3是有负面作用的。
亚马逊：60%~90%的想法没有能够完善它们想改善的目标。
——数据来源：《精益企业：成功实施精益化管理的实践指南》
一、改版评估的重要性
一款互联网产品（APP、网站、H5等），特别是在一家互联网公司，产品承载着整个公司的商业价值。
“小步快跑、快速迭代”被认为是互联网产品生存的基本法则，快速迭代不仅仅是在追求迭代周期的短，他所推崇的核心理念其实是：在当前互联网发展和竞争环境下，你不得不先拿一个demo产品验证你的想法、通过不断了解用户、接收市场反馈然后进行快速调整并反映到产品设计层面。如果说从0到1是在了解市场，那从1到n就是在留住用户。而每一次迭代，你都需要明白，你是否解决了问题，是否优化了体验，是否为后续商业价值的创造提升了效率。而数据，成为了你客观、高效评估的手段。
无论你是在哪个阶段，对产品迭代的准确评估都非常重要，如果不能在短期内拿一个精准的指标去评估你的迭代价值，你又怎能保证新的版本会为之后新增的用户带来更好的体验、更高效的为企业创造价值？
二、 为什么要规避新老用户混合
一款产品中，包含了不同使用深度、不同生命周期的用户。假设改版前后新增曲线基本平稳、用户属性等均匀度一致（也即改版前后流量平稳，没有活动推广、没有渠道异常或其他个性化因素），那这时，唯一要保证的是使用新版本的用户对产品的认知是一致的。因为对于老用户，可能无论你如何改动都会留存，但对于新用户，可能就会有影响，可能导致流失。
与其说是在规避新老用户，本质其实是在控制实验变量，两组用户从统计意义上相同，对产品的认知一致，变量（偏差）只是使用的版本不同，那只有剔除掉新版本中的老用户，评估改版前新用户和改版后新用户的使用情况才更客观和科学。
三、如何避免新老用户混合
以人人贷产品为例（主要是最近和他们勾搭的比较多），假设12月15日在首页增加了新手特权轴设计并发布了v3.1新版（旧版v3.0），这一功能面向的用户是新手期用户，设计初衷可能是认为这样的设计能让用户清晰的知道自己所处的阶段以及完成每一步带来的利益，从而引导用户注册、开户、充值，从而提升首次投资的转化率。
如何评估这一改动的价值？你可以以上图的方式评估，很明显，不够严谨，严格意义上来说是错误的评估，因为到底是6%的增幅，还是60%的增幅，直接影响这次改版价值以及团队投入产出的评估。
如何正确评估？这里提供两个神奇的维度：第一次访问时间和转化时间。
假设我们在12月30日对新版本进行评估 ，通过这两个条件，我们筛选出新增时间为12月16~12月29 日的用户，并且使用版本是v3.1，保存为用户群；
同样，我们也可以筛选出新增时间是12月1日~12月14日的用户，并且使用版本是v3.0，保存为用户群。
分别查看这两个群体在12月1日~12月14日的首投转化率和12月16~12月29日的首投转化率，假设分别是20%和40%。
这两个百分比就是一个剔除掉老用户，就是一个相对精准的评估。如果用户每日新增的基数比较大，我们可以取3到5天的数据先做评估然后持续观测两周。
当然，除了关注v3.1对终极指标的影响，还需要从注册转化、开户转化、充值转化整体评估改版带来的累积价值。
换一种思维，其实对产品功能的优化本质上是要提升某个指标或某种转化率，准确点是转化的效率！通过对新增时间的把控保证了用户对产品认知的一致，通过对转化时间的控制，保证了对转化效率的影响。
基于以上步骤，我们来看产品改版评估的正确姿势，请看第四点。
四、用正确的姿势评估产品迭代
1、明确改版目的
面向什么人群？解决什么问题？改版的出发点很多，可能是增加了某一个新功能，可能是优化了现有功能的体验，甚至需要基于公司战略目标去评估，比如某社区产品发展两年，积累了一批忠实用户，趋于企业战略目标，开始尝试变现，在产品导航栏增加了电商入口，那除了要评估改版后一段时间内新增用户的留存率和改版前一段时间内新增用户的留存率（留存是社区、内容类产品的第一指标）更需要评估这一尝试对特定用户群的影响，特别是对社区忠实用户留存率的影响，即使发现新增用户的留存率比纯社区时的留存率降低了，并且忠实用户的留存率也降低了，但面向忠实用户的购买转化是超出预期的，那只要减少是在一个可以接受的范围内，我们认为，这一尝试是正确的并且是值得期待的。
2、确定评估指标
评估前，需要明确发版后要用哪些指标来衡量产品好坏。最好是在新版本内部启动前，就明确改版目的和Control组的数据情况，并适当评估改版后的理想状态能提升多少，以便改版后清晰对比。
小结
总结说来，产品改版评估除了要能规避新老用户的问题，能够用正确的百分比告诉你迭代的实际意义，更需要基于改版目的灵活、多维的去评估迭代的价值，数据更多的是衡量，除了比较，更多的要看背后为企业带来的真正价值。
分享干货我们是认真的，更多干货尽在爱盈利！
