分享嘉宾:傅礼阳
介绍:吆喝科技客户成功总监
来源:爱盈利运营小咖秀干货沙龙之奇虎360站
未经授权,严禁转载,违者必究!
A/B测试是我们产品精细化运营和增长用户经常要用到的。做产品和运营的目的就是要让用户在产品中找到自己的需求,从而留存用户,最后转化为盈利。在实现这个目的的过程中,我们会遇到各种各样的问题,就比如一款产品做了半年,回顾产品的一次次版本更新,分析数据发现核心指标并没有提高反而在下降。造成这一原因的关键因素就是我们没有真正了解到用户的价值需求在哪里。A/B测试的出现就是让我们更科学、更系统的解决这一问题。
一、关于A/B测试的概念
A/B测试就是一款产品的两个方案,A方案和B方案,原始方案和试验方案。试验方案也可以有多个方案。给一部分用户用原始方案,另一部分用户用试验方案。在这些用户使用一段时间之后,分别对比分析用户的行为数据,看哪一个版本的用户体验最好,在此基础上把更适合的版本切换到产品平台就可以了,不需要重新的更换设计等。
在世界范围内的互联网公司,A/B测试已经成为产品更新迭代中不可或缺的一部分。对于运营来讲,A/B测试也可以稳固和提升我们的用户拉新、促活、留存和营收。因为基于A/B测试的特性,它可以让我们在不影响全局的用户体验的情况下,找到用户的痛点和爽点,从而让我们真正站在用户的角度去迭代产品。
二、如何创建试验?
主要考虑两个因素:试验目标和试验场景
首先谈谈试验目标,目标要先定一个简单直接的优化目标,可以是一个栏目的转化率,也可以是一个页面的点击率。
其次是试验场景。
那么如何构建这个试验场景呢?
总得来说就是:从用户行为以及数据分析中找到问题根源,从竞品和行业实践中找到参考依据。
拿电商来举个栗子。我是电商的产品经理,我在做用户数据分析的时候发现用户把产品加入购物车的这一部分转化率很低。那我就要以提高这一点的转化率为目标,之后我就需要去分析用户行为路径,还要了解同行业竞品比较好的产品在这一方面做了哪些优化。从而作为我A/B测试的一些思路,然后去验证它。
我非常不建议大家在做产品的时候去盲目抄袭同类比较好的产品,因为每一款产品的用户受众是不一样的,盲目抄袭的话会令你的产品更加不稳定。我们经过A/B测试过后的分析,再吸取竞品中好的方面的一些因素,加之我们对于自身产品和用户的理解来制定出一套适合我们的更优质的执行方案。
三、我们来一起分析以下几个案例
1、墨迹天气
这个案例的背景基于运营的同学在一次数据分析中发现的一个问题,就是安卓版本的用户比IOS版本和其他同类产品的分享率都低一些,所以他们决定做一些优化来提升安卓小伙伴分享的积极性。所以当时就做了4个版本。在这四个版本的测试对比中,发现第3个版本的使用率最高,所以就把第3个版本应用到产品中,也就是我们现在用的6.0的版本中。
2、滴滴打车
这是滴滴早期招募司机时候落地页的一个测试,注册了两个版本,左边的是原始版本,右边的是两个试验版本。在测试了一段时间之后,发现右边的测试版本比原始版本都有用户提升,所以最终滴滴打车是把最右边的版本推送给了所有的用户。
我们对这两个版本进行对比分析,发现了造成提升转化率差异高的深层次原因。
原始版本给人一种家的感觉,比较温馨。但是容易让用户误解,是让注册滴滴打车还是滴滴司机,传递信息不是很清楚,这样一个不确定性因素就会让我们流失用户。再看试验版本的第一个版本,直接写明“每天跑一单,油钱天天赚,首单额外奖励30元”。这样就会清晰的向用户传达“司机注册、招募”的信息。但是这样也有一个问题,那就是司机的好友或者家人看到这个页面,点进去之后还得司机本人注册,那么他们就会退出,这样注册转化率又低了。试验的第二个版本解决了前两个版本的问题,明确点出了针对司机,注册需要提供驾驶证和行驶证,这样一来用户就精准了,点击的都是司机,用户注册转化率就会提高。
3、小恩爱
这款产品是情侣在用的排名比较高的一款,这个案例也是针对用户体验做的一个测试。
之前小恩爱的运营同学会不定期的推送一些活动,这些活动都以H5的落地页形式展现。在活动开展一段时间以后,有用户反馈,会莫名其妙的在体验中受到一些广告干扰。他们分析是使用的版本是HTTP,这种形式的容易被第三方广告所侵蚀利用。而HTTPS版本会减少这些隐患和影响,但是轻易地全部更换版本,网络方面容易出问题,用户体验会因为网络问题、后台问题受阻。所以当时就做了一个A/B测试,一部分用户用HTTP形式,另一部分用户使用HTTPS模式,活动正常推送,通过测试发现HTTPS版本的用户受广告的影响小,用户体验更好,而且没有网络问题。所以最终面对所有用户更新了HTTPS版本。
以上只是我从产品和用户角度给大家简单分析了A/B测试,让大家有一定的了解,希望有一个引导的作用,具体怎么做还需要再详细的去讨论、去试验、去做。谢谢大家!