译者:吕东昊
译者前言:
进行AB测试,不是直接做了比较谁好谁差那么简单。如果希望对比分析有意义,必须符合统计学意义上的真正的具有显著性的差异。不过,这个差异让一般人去计算是无从着手的。但好在我们可以使用现成的工具,直接输入数据就能告诉我们结果。这个文章就介绍了这样的好工具。大家可以下载使用。
第一部分:A/B测试时间计算器
在之前的文章,我推荐了一款用于计算A/B测试显著性的计算器(Excel版)并进行了对外开放下载。在这篇文章里,我将推荐一款能够帮助大家估算运行测试时间的计算器,从而获得具有统计学价值的科研成果。但首先,我需要做出如下几点声明:
当有人问我完成一项A/B测试需要多长时间,最万无一失的答案或许是来生或者直到你完成测试的那一天我再告诉你(哪种说法听起来更快一点呢,呵呵)。
对于一项A/B测试,你永远不可能自信地说自己能够在多少多少天之后就能获得具有统计学价值的科研成果。你可以说有80%(或者95%,反正不可能是100%)的概率(前提是这样的测试确实是有意义的)。当然,实际情况可能是数据的可控性只是相对的,从这种意义上来讲,无论你测试多久,都将无法得出相应的结论。
下载和使用下方的计算器来得知你的测试需要多少访客样本。
当你填写了以上四项,计算器会计算出你需要监测多少访客(80%~95%的做出实验结果的成功率)。你可以在对这些访客进行一番测试之后停止测试,但千万不要什么都不做就放弃了测试,这样可能会导致最终出现错误的结论。
复制此链接下载A/B测试时间计算器
http://visualwebsiteoptimizer.com/downloads/ab_testing_duration_calculator.xls
我们非常欢迎大家能够将该文件分享和转发给更多的人。
PS:顺便说一下,如果你想快速计算,我们有一个不同版本的计算器上传在谷歌文档上(在你对谷歌文档中的表格做出任何操作之前,建议将其转存到自己的帐户以作备份)。
第二部分:A/B测试显著性计算器
A / B测试结果的统计可能令人困惑,除非你知道确切的公式。 早些时候,我们发表了有关A / B测试数学运算的文章,同时提供了一款免费的A / B测试计算器,用于测试你的结果是否有价值。 本文为大家提供了关于A / B测试统计的说明,当然计算器仅仅是提供了一个界面;用于计算对比测试结果的统计显著性的真正有效的公式没有具体展示出来。
因此,我们已经推出了一个免费的电子表格,其中详细阐释了计算的真实意义所在。您只需要提供访问量和转化量的控制组和对照组。电子表格会自动为你计算显著性、p值、z值及对于任何一种对比测试(包括Adwords)的其他相关指标。当然,你可以在电子表格中看到相关的公式。
我们非常欢迎大家能够将该文件分享和转发给更多的人。
译者简介:
吕东昊
网络营销分析师,广告设计师。擅长SEM、SEO、广告设计。iCDO翻译志愿者。