但是很遗憾,很多对比测试服务只会提供给你这种困惑的一方面。今天就让我们一起深度挖掘到底是什么引起这样的问题,又如何处理它。
对比测试最大的误区
“他们”不想让你知道的这些暗中的数据秘密
SumAll把这种测试带到这里,怎样来分化测试则对数据的阐释有很大的影响,为了更好的解释这种想法:
单尾测试寻求的是积极的相关性,就好像一直在牌桌上赢牌一样。那些并不真正懂,或者在乎对比测试细节的高管们偏爱单尾测试,因为他们总是觉得能够获得大赢。听起来对网站和顾客都有好处,更不用说是工作的保障了。但这里有一个大问题,在所有其他形式的统计——显著的东西,并没有使其进入分析行列。
接下来是双尾测试。
双尾测试考量的是在过程中可能发生的事情的积极和消极的相关性,你需要更多的数据来得到一个结论,但结论揭示了一些不同的点,这些在单尾测试中是找不到的。
但这并不总是意味着双尾测试是正确的答案。这样的情况有时会发生,当你希望用证据去关联到一个积极的结果,而单尾测试仅需要少量的资源便能得到结论。重要的是你要清楚它有多少是真的直接影响你的底线和转换率,以及它有多少只是为了给人留下印象。
统计学的巅峰
这对你是不公平的,它对每一个参与者都是一个巨大的伤害。
你可以做什么?
假设我们希望看到免费试用带来更多的付费用户。我们让我们的测试运行, 现在是时候来加载结果:
截至目前,你并没有看到和其他测试平台相比,这里提供给你的有什么不同。你看到的也是很普通的结果,比如测试跑了多长时间,有多少访客,以及两者之间有多少转化。从这个例子中,我们可以很清晰的看到变异测试打败了原型测试。
是时候将所有事情换成变异测试了,对吗?
A/B测试报告是一种很好的方式来告诉你到底哪种测试在最后真正的进行了转化。你可以更多的使用这种方法,包括测试在你的测试漏斗之外的结果,就像这个。
先分组,再测试
再次运行测试
攻克假设
作者简介:
Sherice Jacob,Sherice Jacob致力于帮助广告主改善网站设计和提高转化率,熟悉用户设计和智能数据分析。在iElectrify.com了解更多,并下载免费的网站设计和转化清单。
译者简介:
黄文博,广告行业,产品经理,也是ICDO的资深翻译志愿者。
审校简介:
祝洁,Mediacom NY 广告运营分析,也是ICDO的资深审校志愿者。