昨天和阿里的推荐算法同学交流，聊到产品经理在算法/大数据中发挥的角色，我们一致认为产品同学能帮忙确定产品指标，这样开发同学就可以专心把模型做好了。那么对于推荐产品，我们一般看哪些指标呢？最近在做业务的过程中也有一些思考，正好周末整理一下，欢迎交流指教。
目前我们内部常看的指标有两类：场景转化效果指标和内容消费满意度指标。其中，场景转化类指标，包括：pv点击率、uv点击率、曝光点击率、uv转化率、人均点击个数；内容消费满意度指标：留存率，停留时长、播放完成率等。
场景转化类指标
场景转化类的指标关注的是将用户从一个场景转化到我们希望的场景去的效果。这个过程需要用户付出主动的行动，如常见的点击行为。这类指标关注推荐系统的漏斗效果，主要有：
1. pv点击率（点击量/pv）
pv点击率是比较经典的指标，计算用户每次进入页面的点击情况。pv点击率能粗略衡量转化效果，但是它的问题是容易受攻击：少数用户贡献大量点击会掩盖在这个指标后。
2. uv点击率（点击量/uv）
分母是整个产品的uv，而不是有点击行为的uv。uv点击率相对pv点击率的优势在于，它不受用户行为路径影响（不受重复浏览某个产品的影响），能记录用户在一个完整session的点击效果。据了解，阿里不少团队的指标也由pv点击率改为uv点击率了。
3. 曝光点击率（点击量/曝光次数）
曝光点击率适合支持上拉/下拉翻页的产品，比如Feed流。相比pv点击率，曝光点击率的分母随用户刷屏次数增加而变大，能更真实的记录每一屏的转化情况。
4. uv转化率（点击uv/进入uv）
与uv转化率相对的是页面的流失率。uv转化率衡量对用户的转化情况，通过我们的产品设计能把多大比例的用户从一个场景转化到另一个我们希望的场景去。uv转化率相对于前两个指标，更健壮，不易受到攻击。
uv转化率尤其适合衡量入口型产品，比如视频app的首页，如果用uv点击率去衡量会不太科学，因为一般用户在首页点击某个视频后，会进入详情页深度消费，很少会返回首页继续消费。这个用户已经被转化，但不再贡献点击，所以uv点击率不合理，用uv转化率就更加合理。
如果某页面的uv转化率较低，则表示大部分人对该页面都不感兴趣，遵循“不行就分”的简单原则，这样的页面去掉可能对产品更好。
5. 人均点击次数（点击量/点击uv）
人均点击次数与uv转化率相辅相成。uv转化率表示页面的消费宽度（吸引的用户比例），而人均点击次数表示页面的消费深度（每个用户消费的次数）。
内容消费满意度指标
1. 留存率（x日后仍活跃的用户数/x日前的用户数）
留存率很重要，每家公司都很重视，但它很难作为算法的优化指标，因为时间周期长，变量会很多。比如计算视频app首页的7日留存率就十分艰难，因为当中可能会上线大剧和热门综艺。虽然难以衡量，但留存率是产品技术团队最重要的指标：市场同学负责拉新用户、产品技术团队负责服务好用户，把用户留下来。
2. 停留时长
内容消费型产品，点击率很难反应推荐的真正效果，把用户“骗”进了希望的场景进行消费，但是发现真相的用户转身就走，这反而说明这个推荐是失败的。所以需要引入停留时长来量化用户消费效果。音视频类的就对应播放时长，YouTube的核心推荐指标就是WatchTime。
3. 播放完成率（播放时长/视频时长）
由于停留时长受视频时长的锚定效应影响，稍微长一点的视频，即使用户不感兴趣，但是平均来说也会比短视频要停留更长一些。因此，播放完成率指标就能一定程度上去弥补这个问题，但是短视频天然的播放完成率要比长视频高，也是需要在看指标时注意。
结语
一般来说，个性化推荐产品关注的指标和其他产品并无本质不同，只是推荐产品会涉及到大量的算法，而算法本身在离线阶段也需要评测，算法评测指标和产品指标是两个概念。
最后分享关于产品指标需要注意的三点：
1. 不要迷恋算法指标
算法指标有准确率、召回率、AUC值等，这些指标表现好并不能说明产品表现好，因为选择一个算法或者一个模型对于最终产品效果是否有帮助，本身就是存在一定假设，所以无论产品技术，不迷恋算法指标是第一个要注意的。
2. 各个指标都有局限性
每个产品指标都有一定劣势，也就是在某些方面无法体现出区分度来，前面列举的指标，每个指标都存在无法反应的情况。认清指标的局限性这是第二个要注意的。
3. 指标不宜过多
最后，产品指标不宜过多，过多的指标不利于最终优化决策。本文所述的指标，每个产品也需根据自身特点和业务需求选择核心的几个。如果真的要关注多个指标，可以试着把这些直观指标再次综合成一个更高阶的指标，从而减少关注的目标，集中优化精力，帮助决策。
作者：吴迎宾
文章来源：人人都是产品经理
【转载说明】 若上述素材出现侵权，请及时联系我们删除及进行处理：8088013@qq.com
