做 A/B 测试之前你需要了解的 10 件事
忘掉你原本对用户的了解
是的,人们都太容易陷入对用户年龄,性别,位置,或收入的假设之中。曾经,“客户分析”是与用户接触的最好的(甚至是唯一的)方法。即便是现在,它在市场营销中也占有一席之地。
建立一条基线
诚然,提高转换率是你的近期目标,但是在你开始 A/B 测试之前,你需要建立一条基线,如果你不知道你目前的转换率是什么,你将如何知道你未来的测试是成功的?(更多请看第5条)
对别人有效的方法,对你未必适用
你必须对你自己独特的内容与你自己独特的用户进行 A/B 测试。当然,你可以从其他CRO人员那里套用类似方法,但不要指望能得到相同的结果。
例如,一个销售鞋带公司和一个销售企业应用软件的公司,同样客户都很普遍,但是购买周期完全不会一样。前者的网页上修改一个按钮颜色能提高销量,对于后者可就未必如此。
一次只测试一项内容
这个是不言而喻的,但值得一提,因为非常重要。在一段时间,对一个变量进行 A/B 测试,这样的结果是可读的。但是如果你改变你的标题在同一时间你改变你的导航,你怎么会知道哪个变量促成了最多的转换?
不要急于下结论
在 A/B 测试中,统计置信指的是如果再次运行相同的测试,是否能有相同的结果。换句话说,它会告诉你测试结果是否可信。
例如,假设在购物车页面进行 A/B 测试,其中“A”是单选按钮而“B”是下拉菜单。于是就有了结论,“B”提高了75%的转换率。显然,B更好,是这样吗?
不一定。因为有三个事实需要考虑:
样本容量
还是上面的例子,如果你的样本量为4人,这意味着只有3人喜欢下拉菜单。当然,这是一个良好的开端,但在1000的样本量仍是这一结果的可能性极低;因此,本次测试的结果属低置信度。
容错率
例如,在样本大小为500时,99%的客户倾向于下拉菜单,你可以相当肯定的是,你的误差率较低。如果,49%的用户喜欢下拉菜单,51%的用户喜欢单选按钮,那么随机性就不得不考虑进来了,你应该继续运行测试,直到一个更高的置信度。
用户规模
如果你的整个用户群体的规模是25万,你的样本量为25人,这样产生测试结果也不具有高置信水平。
路要一步一步走
老生常谈的一名话了。随着客户的看法和期望的发展,CRO永远是一个不断前进的目标。不怕犯错,从中练习,你就会成为一个 A/B 测试的高手。
多收集一些意见
用户测试从未像现在这样重要,也从未如此简单!即使你没有这样一个部门去专门做用户测试,也选择一些免费和低成本的服务。
Peek by UserTesting
Peek 是一个超级简单,快捷的方式,收集有关您的网站的定性反馈。
优点:信息反馈一般是公正的,详细的,而且免费!
缺点:不能在其目标受众之外测试接口。此外,费时较长。
See and hear a 5-minute video of a real person using your site or app. It's super fast, and totally free.Amazon Mechanical Turk
优点:一般比较廉价,可扩展,定量,你可以预先选择标准。
缺点:这通常是通过调查引擎,可以引入人为的过滤器。
底线:有反馈总比没有反馈强!
The online market place for work. We give businesses and developers access to an on-demand scalable workforce. Workers can work at home and make money by choosing from thousands of tasks and jobs.实际用户表现可能和用户调查数据相左
用户调查会引入人员误差,而原始用户表现统计数据则不会有这些问题。
例如,你现在急着去开会,要打印文件却发现打印机没墨了,你会怎么做呢?
也许你会说,很简单啊,换个新墨盒打印完呗。如果这是一个用户调查,我会接受你的回答。
但是如果是在用户测试环境,我会记下你敲了打印机4下,清除卡纸,又狂按“取消”按钮7次,再换下墨盒。整理文件时你又打翻了咖啡,洒在了衣服上,于是只好重新安排会议时间。
在调查中,你确实没有说谎,你也确实换墨盒了,只是会忽略前前后后那么多行为。
明确定义你成功的标准
不要忘记初衷: CRO 是要提高转化率。不是打开率,点击率,转发率,好评率,或固定率。(除非你的网站就是做这个的)
底线:心中有一个目标,优化周围的目标,你的内容。一切是一个关键绩效指标(KPI)。
不要去测试无关紧要的因素
用你的常识去测试你的直觉。直接测试高影响因素。详情可以看下面这个列表。
原文链接:
Before jumping into tactical fixes, there is only one thing you need to do to optimize conversion rates on your website, and that is what today’s blog post is all about – A/B testing.
评论(1)