一个成熟的个性化推荐系统,不会让用户变得狭隘,反而会扩宽用户视野。
当你看着网易云音乐的推荐歌单,一样的歌手、一样的类型,是不是有点厌倦?
当你看着今日头条的Feeds流,一样的八卦、一样的娱乐新闻,是不是想卸载app?
你是不是觉得,个性化推荐让你愈发狭隘?
为什么要做个性化推荐系统
讨论个性化推荐是否会让用户变得狭隘,我们不妨先从“为什么要做个性化推荐系统”这个角度进行思考。
从背景出发:人们正逐渐从信息匮乏的时代走入信息过载的时代。这一背景带来了两个问题:信息过载、用户目的性不强,典型场景是:你打开网易云音乐,很多歌曲,你不知道想听什么。
在个性化推荐未出现之前,解决这两个问题采取的方法一是类目管理,二是搜索,三是热门物品展示。
一不适用于物品多的情况,二需要用户准确描述需求,三的弊端是会加剧长尾效应,且命中率低。而个性化推荐系统根据用户历史行为挖掘用户需求,与搜索引擎互补。
因此,做个性化推荐的目的是:在物品数量多的情况下,联系用户与产品,挖掘用户潜在需求,解决长尾问题。
如何考评个性化推荐效果
进而,我们可以从“如何考评个性化推荐效果”这个角度进行思考
以下是综合市面上相关个性化产品,总结而出的相关指标:
- 用户满意度
- 准确度
- 覆盖率(长尾 马太效应 用基尼系数)
- 多样性 、新颖性(是否听说过这个推荐结果)
- 惊喜度(和历史兴趣不同 却满意)
- 信任度(给出推荐理由 给出推荐源于那个好友)
- 实时性(推荐相关产品实时 将新加入的产品推荐)
- 健壮性(即鲁棒性 抗作弊能力 可以通过加大用户行为成本来实现)
- 其他商业目标
不展开细讲,我们着重讨论用户满意度、多样性、惊喜度和准确度
- 用户满意度:这个不用细说
- 准确度:推荐系统最为重要的指标(没有之一),但是准确的预测不一定是好的预测。举个例子:用户早就准备买A书,无论是否系统向他推荐,均会购买。那么对于用户来说,他会觉得这个结果不新颖,没有新鲜感。
- 多样性:用户兴趣广泛,可能喜欢看AV,也喜欢看新闻联播;多样性描述了推荐列表中物品两两之间的不相似性。
- 新颖性:用户之前没有听说过的产品具有新颖性。
接下来,回想一下,在网易云音乐界面,系统推荐的音乐分为几类
- “你爱吃肉,那我给你各种肉”
- “你爱吃肉,我发现你是缺乏肉类富含的脂肪,那我给你推荐富含脂肪的牛油果”。
回到我们的问题,是不是就是因为第一种情况,让你觉得“个性化推荐会让用户变得狭隘”?
其实就是推荐系统在满足准确性的基础上,没有满足多样性与新颖性,进而降低了用户满意度。简而言之,对于潜在需求挖掘不够深。
所以在这里,第一个结论是:不够全面的个性化推荐会让用户变得狭隘
那么,个性化推荐怎么才能让用户信息接触面扩宽,而不是狭隘呢?
我们以常用的协同过滤为例(具体请百度),从相似度矩阵(Similarity Matrix)说起
“你爱吃肉,那我给你各种肉”
这种情况下,我们用筷子往下翻,可能会看到蔬菜。但是用户的视野就那么大,再好的推荐不能忍用户看见也是扯淡。所以我们可以引入惩戒机制,适当降低同类物品权重,降低其排位。
小泽玛利亚发新片,用户蜂拥去看,包括苍井空的一众拥趸们也跑去观望了一下。这样的情况持续了一个多月,这下好了,喜欢苍井空的用户看到的推荐里面现在几乎都能看到小泽玛利亚的片,尽管两者实际上不至于这么相关。
由于这个效应,许多用户从个性化推荐点开小泽玛利亚的片,造成了一个恶性循环,使得你的Similarity以为他们真的相关,这时候其他真正相关的优质推荐却被挤压到后面了。所以我们可以再次引入惩戒机制,把热门片推后吧。
假设现在有一个素人,身材好,长得像苍井空,技术好,反正就是非常相关,苍井空的球迷肯定会喜欢那种。但是她刚刚出道,公司资源也不多,宣传力度不大,片源也少,只有少数几个网站有片源,只有被少数的几个苍井空迷发掘。
现在问题来了,这么让她被挖掘出来呢?这个基本上与上一个问题相反,这是冷门的优秀推荐很难被发掘,长尾物品关注量少,马太效应加剧。这时候我们可以用点归一化(Normalization)的小伎俩微调一下。
以上是常见的几个狭隘化现象,分别用相关方法加以算法微调,得以解决。
因此,结论是:一个成熟的个性化推荐系统,不会让用户变得狭隘,反而会扩宽用户视野。
分享干货我们是认真的,更多干货尽在爱盈利!