你以为“调查问卷”就是网上随便找个模板改改,或者自己闭门造车写一个就好了吗?如果你真这么做了,那就等着“踩坑+抗锅”吧!
调查问卷,是获取用户对产品反馈的常用手段。一般由公司或者是相关职能人发起,落眼于互联网公司,相关职能人主要集中在两个岗位:一是产品,二是运营。
有一年以上工作经历的运营,99%都经历过调查问卷。那么,一般在什么情况下,我们需要做调查问卷?
总结下来,主要有三:
- 新产品投入生产前,通过调查问卷,验证市场需求是否真实存在,并评估市场规模和人均可支付金额;
- 产品进行重大升级前,通过调查问卷,评估现阶段用户对产品的满意度,针对待优化点提出改进意见;
- 在用户运营中,通过与代表性用户深度沟通得出定性结论,然后用调查问卷的方式验证结论是否正确。
在工作过程中,2和3是我们最常遇到的。但,你以为“调查问卷”就是网上随便找个模板改改,或者自己闭门造车写一个就好了吗?
如果你真这么做了,那就等着“踩坑+抗锅”吧!
在我5年的运营工作中,发现运营在推动调查问卷进行并最终得到结论,这期间往往会遇到以下几种问题:
- 问卷设计有问题。问题的设计带有误导性和盲区,导致得到的结论并不是用户真正想表达的,甚至偏离了问卷设计的最初目的;
- 问卷采集的样本数量过少,且样本质量有问题(没有经过数据清洗);
- 问卷数据分析阶段,缺少访问环节,导致用户需求没有得到深挖,得出的产品优化方案过于片面。
调查问卷,除了让很多颇有资历的运营感到头疼外,甚至很多大公司也曾经在这上面摔过跟头,1982年可口可乐推出的“堪萨斯工程”就是一个典型的调研失败案例。
为了在与百事可乐的竞争中取得更大优势,可口可乐在美国13个城市投入400万美金开展为期2年的新口味市场调研,在问卷中60%的消费者表示新口味比原来的口味更好。结果可口可乐把新产品推向市场后,却意外遭到了顾客的强烈抵制,甚至还诞生了一支“老可乐用户者”联盟,并在全国发起抗议活动,如图:
思考一下,为什么可口可乐耗时耗力耗财,以为探到了用户的需求,但执行后用户却不买单?
可口可乐当时在做市场调研时,仅把“口味”作为影响消费者决策的主要因素,问卷中的提问,包括“如果有新口味,你愿意尝试吗”等类似诱导性问题。
其次,更重要的是,可口可乐公司忽视了消费者的情感因素,提问中没有包括“如果用新口味取代旧口味,你会接受吗”的类似问题。情感因素是将消费者与可口可乐公司连起来的纽带,就像哪一年的春晚,如果导演没让《难忘今宵》压轴表演,体会一下,是不是很多人的情感层面也一时接受不了?
既然调查问卷应用场景如此之多,那么如何设计问卷?如何通过设计问卷洞察用户需求?
下面我将结合自己的工作经历和思考,给大家呈现在问卷设计过程中的全环节,主要分为需求内部沟通,问卷准备,问卷设计和问卷评价这四个阶段。
(其中涉及到与用户需求紧密相关的,用黑粗体标注,请留意)
一、需求内部沟通
这个非常重要的步骤常常被运营忽视。
切记!调查问卷不是运营一拍脑袋就决定干的事,它应该是一个“团队合作”项目,运营需要事先跟各需求方沟通,比如:产品、技术、设计、客服等,提出你要调研的问题及目标,先在团队里充分讨论,最终决定是否以“调查问卷”这个手段去洞察用户需求,或者在充分讨论里提出更好的解决办法。
只有得到了团队的支持,你接下来的各个环节工作才能更好的开展,调研的成功率也才会更大。
我从事的是K12在线教育,近期课程产品2.0将会上线,为了调研现阶段用户对课程质量的满意度,和挖掘用户更深层次需求,我想发起一个“问卷调研”。在这之前,我要跟产品、教学教研组、班主任和客服等各需求方充分沟通,只有大家认可了你这件事的价值,你在后期的推进中才会得到更多资源上的支持。
二、问卷准备阶段
在这一阶段,要通过“专题小组讨论”形式,把此次调查问卷的目的、调查对象、投放渠道和预计采集样本量确定下来,这样才能在下个阶段——问卷设计中有针对地进行设计。
针对本次课程产品2.0上线前的调查问卷,我做了如下问卷准备工作:
(1)确定调查目的:用户对现阶段课程的满意度?用户对课程还有什么隐形需求尚未挖掘(包括内容、服务、课程形式三个维度)?
(2)确定调查对象:3个月内报名过本课程产品的家长用户
(3)确定投放渠道:
- 上课前老师PPT展示,填写提交就赠送系统课20元抵扣券
- App内Feed定向置顶,填写提交就赠送系统课20元抵扣券
(4)预计采集样本量:600+。
这里需要说明的是,调查目的最好不要超过3条,以免在问卷设计过程中,产出过多问题,用户回答失去耐心,另外目的的增加也会带来变量的增加,也会增加后期数据分析的难度。
三、问卷设计阶段
现在就进入到调查问卷的主体环节,即问卷题目的设计。看起来很简单,但很少人能做好,在用户体验、产品把握、逻辑关系等各方面都对运营人提出了很高的要求。
给大家推荐3个我常用的问题设计思路:
(1)调查与访谈组合法
步骤为“先调查——后访谈——再调查”,通过前期较为粗略的问卷调查,筛选出用户的常见问题,然后选出代表性用户进行深入沟通,根据沟通结果有针对性地修改前期调查问卷,形成详尽调查问卷,接着再进行第二轮调查,以印证代表性用户的需求。
(2)5W2H提问法
步骤为从原因(Why)、事件(What)、人物(Who)、时间(When)、地点(Where)、怎么做(How)、有多少(How much)这七个方面,围绕待解决的问题进行提问,从而发现问题产生的线索。这个方法类似于有束口的头脑风暴,从而可以避免问题的遗漏。
(3)竞品调研问卷和行业研究报告参考法
前者不用赘言,只要关注竞品的信息发布渠道,比如:App、公众号或网站,就可以窥探其问卷调研的设计思路,既然是竞品,那在用户重合度、用户使用场景、用户亟待解决的问题上难免有不少相似之处,那些看上去很厉害的问题设计,拿过来用就是了。
另外要学会利用互联网的免费资源,这里特指各种行业研究报告,我经常登录的有艾瑞网、极光大数据和猎豹大数据,其中艾瑞网的行业报告数量最多、更新最快、而且基本都是免费。
通过阅读这些行业资料,找到现有市场亟待解决的共性问题,并结合自家产品向用户发问。如果后期经过推动,真的能产出一套解决方案,再由此及彼影响到整个行业,你说牛不牛?
艾瑞网
极光大数据
猎豹大数据
此刻你应该有了不少可以纳入调查问卷的问题,下面我们需要把问题结构化。一份质量较高的调查问卷,应该包括三个维度的问题:用户背景调查、用户行为调查、用户态度调查。
用户背景调查:包括性别、地区、收入、职业、手机系统等,可用于构建产品的用户画像;
用户行为调查:包括从什么时候开始使用产品、使用产品的频率是多少、最常用的产品功能、有没有使用过竞品,一般特指客观发生的行为,用户不需要过多思考就可以作答;
用户态度调查:包括对产品是否满意、对产品最大的意见、最希望产品增加什么功能等问题,一般以半封闭和开放性题目为主,但切记不要有诱导的口吻询问,如:
“你喜不喜欢我们的产品?”就算不是面对面访谈,多数用户还是善良的,就像男女交朋友之前,男生问女生“你喜欢我吗”,女生即使不那么喜欢,也至少会回一句“你是个好人”,况且你能触及到的很大概率都是活跃度高且较忠诚的用户,所以这种问题问了不仅没意义,而且最后数据分析结果还会误导自己。
也不要脱离场景问需求,如:
“如果有新的功能,你会使用吗?”80%的用户都会表示“会”,但等你上线了新功能后,却发现完全不是这么回事儿!脱离了场景谈需求,对你的调研没有任何意义。
更不要直接问用户有什么需求,如:
“你觉得增加什么样的功能,会在使用中更方便?”拜托啊,你是产品经理or运营好吧,你让用户直接跟你说需求,无异于手机还没诞生之时,某个用户直接跑来跟你说,“产品经理,我需要一个手机”,这种事情能发生就是见了鬼。
更好的办法,就是你已经有了产品方案,抛给用户让他们选择就好。
前两天我去超市购物,结账时收银小姐姐告诉我扫码填问卷,可以立减5元,有这等便宜,简直不占不是人!于是乎我打开微信,就开始扫码填写,标题上清楚写着“关于××香皂的问卷调研”,接着往下看,题不多一共5道题,前2题问了性别和年龄,可后面3道题,全是bug啊!
问题3:请问您使用什么牌子的香皂?
我内心OS:这道题有点抽象啊,我这段时间用过好几款香皂,难道都要写?
问题4:对××香皂的包装与味道,您是否喜欢呢?
我内心OS:你到底是问我喜欢包装,还是味道,还是两者兼有呢?
问题5:大家都觉得××香皂很好,你觉得呢?
我内心OS:大家都觉得很好?嗯,你是不是在暗示我些什么?
带着痛苦硬着头皮把题目答完了,回到家我立马就把这三道题改了改:
- 修改后的问题3:最近1个月,你使用过什么牌子的香皂呢?
- 修改后的问题4:请你分别给××香皂的包装和味道打分(满分5分)?
- 修改后的问题5:结合你的使用感受,你觉得××香皂如何?请在下方写下你的想法。
和上面一对比,是不是觉得这版更好?
- 题目3给出了时间限制,让用户在作答时迅速切换到使用场景,不仅增加了代入感,还增加了回答的可靠性;
- 题目4让用户分别就包装和味道两个维度打分,可以了解用户对两个维度的态度及程度;
- 题目5去掉诱导性的提问方式,用客观口吻询问,让用户在不受诱导的条件下作答。
反面例子就说到这里。
提起用户调研做得非常好的公司,我认为是网易,常年挂在首页的“网易首页调查问卷”(http://news.163.com/special/question/)相信很多人都见过,在问卷的设计上客观、全面、直至目标。这里由于篇幅关系就不展开分析了。
四、问卷评价阶段
当一份调查问卷正式投向用户之前,很多人都会忽视这一步,而这一步往往决定你最终能不能通过调查问卷抓住用户需求的“临门一脚”,就是问卷评价。
- 你的问卷在设计上有没有偏离目标?
- 你的用户在回答问卷时,是否对所有问题都完全理解?
- 你的问卷是否存在问题遗漏或问题冗余?
- ……
你作为问卷的设计者,是很难看出其中的不足,所以我们需要借助外界力量,主要借助两种:
- 公司内部专题小组
- 产品的代表性用户
公司内部专题小组,在最初内部沟通需求会议就参与其中,他们对这个调研的“目的”,“需要解决的问题”,“我们要调研的对象”等都有明确认知,他们可以帮你把控问卷初稿是否指向目标,评估问卷中的词语,比如某个专业术语调查对象是否能完全理解。
产品的代表性用户,你需要从产品的用户中挑选一组人接受问卷预填,一般是有偿的(也可以用其他奖励代替,双方达成一致即可)。让代表性用户作答整个问卷,可以通过填写数据,来检验问卷设计的合理性,如用户属性是否和行为有明确关联性,用户做题时间的分布状况,不同层级用户的选项分布疏密。
精益求精的运营,还会在问卷结束后,从中挑选几名用户进行一对一深度访谈,通过访谈结论对调查问卷进行更有针对性的修改。
至此,一份可以洞察用户需求的调查问卷才算生产出来。
接下来,作为运营还要将这份问卷投向用户,回收数据,清洗数据,分析数据,撰写调查问卷等工作。
有人觉得调查问卷随便做做,就能得出结论,也有人把调查问卷看作是与用户对话的方式,用对待产品的方式产出一份问卷。两种做事态度,高下立现。这也是我崇敬的,运营人应该有的态度:把细节做到极致,死磕到底。
五、关于调查问卷,有人说
在调查问卷这件事上,不少运营觉得,问卷得到的数据并不能反映用户真正的需求。对于这个问题,有必要抛砖引玉,谈谈我对这个问题的理解:
(1)了解用户的方法千千万,但最有效的可能还是那些传统又经典的方法
常见的用户研究方法有定性和定量两种,在互联网环境还没有那么成熟之前,主要依靠深度访问、焦点小组和调查问卷这三种方法获取用户的反馈。如果你曾经历过深度访谈或焦点小组这两种调研方式,那你一定深有体会,这两种方式特别耗时耗力,而且需要进行数轮才能验证最终的结论。
如果想得到更客观且更全面的用户需求提取,我的建议是,以问卷为主,以深度访谈为辅,我一般的做法是“调查问卷第1次——深度访谈第1次——调查问卷第2次——深度访谈第2次——撰写数据分析报告”,得出结论。
(2)在问卷中,加入一定数量的测谎题
用户在做问卷时,受到的干扰很多,有时回答并非出于实际情况和本心,甚至会给出一个与自身情况完全相反的答案,尤其在记名式问卷中,这种情况常常出现。为了避免这类情况发生,我们需要在问卷调查中设置几道“测谎题”。
“测谎题”一般设置成开放题型,且设置要符合普遍肯定性前提和公认小缺点前提。
普遍肯定性前提,指的是大多数正常人都偶尔会犯,并且愿意承认的行为。公认小缺点前提,指的是自述题所陈述的行为是大家公认的一种小缺点。
比如:在我之前提到过的课程2.0用户调研,我向用户询问了关于成绩的问题:
Q:你的成绩在班里位于?
A:上游、中上游、中游、中下游、下游
青春期的孩子自尊心都比较强,自我评价会比实际情况偏高,所以我在问卷的倒数第3题设置了测谎题,针对的是在前面这道题中选择了上游和中上游的用户,题目是这样设置的:
Q:在同学面临学习问题的时候,你会给他们讲解吗?
如果用户回答“不会,因为我遇到的学习问题也很多”,这就与他选择的身份答案产生偏差,在后期的数据清洗,可以将这部分无效问卷去除。
(3)从用户中来,到用户中去。
在你的产品中,用户的使用场景和使用路径是什么?
这是我在运营工作中,经常思考的问题。在设计用户调查问卷前,不妨把自己假象成一名普通用户,从头至尾完整体验你所要开展的调研项。比如:我运营的K12教育领域App,用户的使用行为包括,搜题、一对一答疑、听直播课等,以我负责的直播课来说,想要了解这部分用户的需求,不妨自己报名1次课,完整地体验课程全流程。
从用户中来,到用户中去,让你和用户产生共情,更能从他们的角度考虑问题,提出解决办法。
比如,我在做课程2.0调研前,就花19元报名了1节课,从报名成功——接收上课通知——上课——课后答疑——课程结束全环节体验了一把,就发现了不少问题:
- 课程通知入口太深,需要我点击“我的—我的课程—我报名的课程”才能找到,且上课前半个小时无任何短信等提醒,这是不是也是到课率低的原因?
- 课程没有配备社群,三节课结束后,和老师的联系基本就断了,再想答疑或者是获得其他课程信息,需要时不时打开App。
- ……
当你在体验产品中发现了这些问题后,再结合问卷中的用户反馈,就能对用户需求排定优先级,依次解决。
(4)结合用户数据综合分析
大家都谈过恋爱吧,第一次约女孩去吃饭,女孩羞涩不会明说自己想吃什么,作为男生最机智的办法就是每种口味都点上一盘,然后观察女孩哪道菜吃的最多,就差不多能摸清她的口味。
用户调研也是如此,不要光看用户说了什么,更要看用户做了什么。正如我上面提到的课程2.0调研, 84%的用户反映课程直播时间不合理。我的做法是先试验,在首页同时上线两个一模一样的课,只有直播时间不一样,通过这个测试来得出小学生在课后补习的黄金时间点。
用户行为数据结合用户调研数据去分析,我们不仅要听用户说了什么,更要关注他们做了什么。
六、总结全文重点
- 调查问卷是一个“团队合作”项目,运营需要事先跟各需求方沟通,比如:产品、技术、设计、客服等,提出你要调研的问题及目标,只有得到了团队的支持,你接下来的各个环节工作才能更好的开展,调研的成功率也才会更大。
- 调查问卷设计前需明确调查目的、调查对象、投放渠道和预计采集样本量,这样才能在下个阶段——问卷设计中有针对地进行设计。
- 设计问卷的方法,即问卷题目的来源,推荐大家三个方法:调查与访谈组合法、5W2H提问法、竞品调研问卷和行业研究报告参考法。
- 一份质量较高的调查问卷,应该包括三个维度的问题:用户背景调查、用户行为调查、用户态度调查。
希望大家在每次做调查问卷时,都能把它看做与用户交流的难得机会,通过设计题目与用户真诚的沟通,洞察到用户真正的需求。
作者:木公子,某K12教育公司课程运营,5年运营经验,策划过多个PV千万级别H5,始终保持stay foolish,stay hungry
爱盈利-运营小咖秀(www.aiyingli.com) 始终坚持研究分享移动互联网App运营推广经验、策略、全案、渠道等纯干货知识内容;是广大App运营从业者的知识启蒙、成长指导、进阶学习的集聚平台;
想了解更多移动互联网干货知识,请关注微信公众号运营小咖秀(ID: yunyingshow)
【转载说明】  若上述素材出现侵权,请及时联系我们删除及进行处理:8088013@qq.com