【iCDO专访】数据掌门人王晔：试验、增长、最简单的数据生产力

本文长度为4634字，预估阅读时间12分钟。

引言：吆喝科技CEO王晔的精彩回答，让我们有机会从A／B测试一个看似非常小的触点，窥看到流量红利结束，企业决策者面临的增长挑战和机遇；也从渠道测试、落地页优化等细节工作，看到精细化营销与运营的崛起与AI的真假实力……

采访 | 林森

撰稿 | 侯蘇芸

编辑 | 华子

前言

坐在去北京的高铁上，感冒混杂晕车，不好受，但听着采访录音竟然有些小兴奋，许久没听到这么直白的对话，关于裂变、增长、AI的案例和报告满天飞，但也大都止于此，至于背后的逻辑、坑与成果，基本是“概念以蔽之”。感谢吆喝科技CEO王晔的精彩回答，让我们有机会从A／B测试一个看似非常小的触点，窥看到流量红利结束，企业决策者面临的增长挑战和机遇；也从渠道测试、落地页优化等细节工作，看到精细化营销与运营的崛起与AI的真假实力……希望这篇专访也能给你一些启发。

问题1.

iCDO：什么是A/B测试？

王晔：A/B测试是一种假设试验，假设我们圈定的所有样本面前，测试哪一种方式达成目标的效果更好，比如，同一个投放渠道，用A、B两个广告页面做测试。听着比较简单，但假设试验是一个非常严谨的工作，有很强的限定条件：一是，圈定的样本具有代表性；另外，结果会有一个置信区间。回到刚才的例子，样本具有代表性意味着投放渠道的流量需要相对稳定，比如，优酷、爱奇艺这些比较成熟的流量，这些流量的人群变化以年为单位，是非常具有代表性。同时，试验结果会有一个置信区间，比如，有95%的可能性，A和B的结果范围在5%到15%，这是一个很精确，或者说经得起考验的结果。

问题2

iCDO：我们有时候会看到一些情况，第一次试验A比B好，再做试验，结果有可能相反？是什么原因呢？

王晔：是的，有可能存在这样的情况。比如样本不具有代表性，举个简单的例子，新颖的APP，APP用户群在早期会有比较大的变化，这个月的用户和下个月的用户很有可能不是同一群人，这种情况就不太适合A/B测试。再比如说，我们开始一个试验，需要对APP的用户进行采样，这个时候一般不可能试验一开始，用户就同时打开APP被采样，有些人是当下打开，有些人可能过了三五天才打开APP，然后被采样。这种情况我们一般会建议试验的时间长一点，比如跑七天，而不是一天；同时也会在数据模型上做调整，一般系统能够解决这样的问题。

问题3

iCDO：那么您觉得A/B测试在当下的营销/运营环境中扮演了什么角色，或者说如何体现价值？

王晔：A/B测试属于试验工具，工具是什么，工具是解放生产力、提高效率，特别像微软Office，Excel这种生产类的软件工具，大家会用它来做各种各样的事情。在越来越精细化的营销和运营中，A/B测试会成为企业一线工作人员的基础工具，它足够简单，足够通用，会逐渐改变大家的工作习惯。

问题4

iCDO：如果这个工具很基础，很重要，那么是否会面临一种挑战，比如说，需求量大的企业自己内部也搞一个A／B测试工具？

王晔：这个问题很好，其实我们同样可以先回顾下Excel的发展，一方面，Excel在诞生几年后，仍然有很多竞品，各种研发指标计算工具可以说是五花八门；另一方面，最早的office用户一般是来自非科技行业，是这些行业里的龙头企业，他们没有自己的工具，需要从外部引入。顶尖的技术企业，早期不会用Excel，也不会用Office，而是用自己的东西。但是你看，过了五年、十年或者更长的时间，Excel已经普及到高新技术企业，为什么呢？因为在这些顶尖团队里，做一个完美的Excel或者A/B测试工具，不是他的主要目的，他不可能投入大量的精力去改进它，而赖以为生的厂商就会有动力去不断优化迭代，也是在这个过程中逐渐成为企业最优的选择。A/B测试的发展路径可能是类似的，也许是很久以后，但也可以说是非常自然的事情。

问题5

iCDO：okay，那么目前哪些行业或者场景适合用A/B测试呢？

王晔：从行业角度来看，一般是2C类，流量比较大，或者比较重视转化率，比如金融、教育、大旅游、跨境电商、媒体资讯等，这些行业的产品在很多场景下都有试验需求。总体来看，典型的特征是：盈利企业，不烧钱；有流量，重视转化率，但无法形成自然的增长，比如华住、永辉、环球易购、中国移动、平安等等，他们是行业的龙头企业，实际上，也是我们优质客户的代表。从场景来看，A/B测试是能够渗透到企业营销和运营很多环节里的一个工具，最常见的是线上入口，广告投放这些典型场景；纵深的看，前期的行业调研，用户调研和实施，后期的线上线下流量获取、用户抓取都会有所涉及。有精细化营销和运营的地方，就有A/B测试。

问题6

iCDO：那我们选取一个具体的场景来看，A/B测试能起到什么作用？比如落地页优化，因为我们都知道落地页和转化率的关联也非常大，大家关注的裂变本质也是一个转化率高的落地页。

王晔：我们从几个角度来分析，从企业角度来讲，目标非常简单，尤其具备增长能力的企业，比如尚德机构，会有专门的团队优化广告投放落地页。落地页有几十种、几百种甚至几千种，针对不同渠道进行投放，然后人肉优化，比如投A关键词，页面转化率不好，会不断的更换页面。我们的解决方案就是让机器模拟这些人的工作，不需要人肉改链接，改页面，而是用机器不断进行A/B测试，实现自动优化。从产品逻辑讲，落地页优化机器人的方式就是给特定的人群或者渠道，投放特定的落地页，然后尽可能的找到哪个落地页，最适合哪个渠道。

问题7

iCDO：那么从客户角度来讲呢？会比企业负责优化的同事干得更好吗？

王晔：从客户角度讲，他的体验就是我请了一个机器人，但这个机器人很难比优化专家干得好，这是现实状况，但他肯定比外行要干得好，同时又比外行便宜，投入产出比更高。

问题8

iCDO：那这个时候还可能出现一种情况，就是假如机器人提升了转化，这是一个结果，但可能从营销人员，或者运营操盘手的角度来讲，他并不了解机器是如何实现的？为什么会这样调整？更多像黑盒子一样，这个情况怎么处理？

王晔：这是一个非常好的问题，有类似问题的人最有可能是我们刚刚说的大中型企业，也就是拥有增长黑客团队的人，这是属于互联网运营专家会关心的问题。机器人如何做到是一个很复杂的问题，尽管落地页优化是我们的一个子产品，但做到极致的挑战非常大。我们可以提取用户关键词，用户关系来定制标签，自动化定制着陆页，但是这可能仅仅是产生效果的一小部分。

我们内部经常会提到一个粒子模型，刚才提到的关键词是模型里的相关性因素，但还有很多其他因素，比如价值主张，清晰度，反焦虑，最后转化的紧迫感等等，比如，有多少人正在看这个页面或者只剩三个席位，或者再过一小时票价上涨多少等等。我们要明确一个现实，目前几乎只有一小部分互联网运营者，他们通过多年经验总结出来了一些方法论，他们对用户的理解，对消费者的理解，对产品的理解都非常深刻，有能力做出非常棒的优化。机器人很难比这些专家更厉害，对于这些增长黑客，他们的实际需求往往非常明确，他很清楚的知道他需要机器人帮他执行哪一个部分，去完成增长需求。至于机器人如何做到的，其实不用纠结，因为机器人现阶段是干不过增值黑客的。

另外，更多会用到落地页优化，A/B测试的是一些中小规模的企业，对他来说最重要的是效果，至于是怎么达到这个效果，他不关心，也没有精力去弄不明白。目前的市场情况是，大部分企业没有能力招聘增长黑客来做精细化试验，迭代优化等等，但他肯定在某些场景里想要一个具体的解决方案，能够立刻带来价值，提升转化率提升，比如落地页优化。吆喝科技也是围绕这个思路去推出一系列聚焦特定场景的产品，模拟增长黑客的做法。

问题9

iCDO：技术或者AI干不过人，这可能和我们平时听到的不太一样，您如何定义AI？

王晔：技术干不过人，或者人干不过技术，其实不需要纠结，更多是技术能解决什么样的问题，每一种技术的使用场景和优化的范围是不一样的。技术是服务商业，对于我们，不是一个媒体话题，它是一个非常实际的业务问题。我对AI的理解是，只要能够模拟人、扮演人的技术，都可以算是AI。目前AI能用的场景比较固定，一般来说，会有三大类，消费者沟通／业务决策、语音图像和图像识别。语音识别，图像识别场景都比较成熟了，但在业务决策领域的挑战很大，影响用户和消费转化的事情太多，需要控制的变量太多，相当于在解一个巨大无比的优化方程式。

比如，一个简单营销漏斗模型，每一层都可以做很多事情，而且有很多重叠，这里面变量复杂程度、数据的复杂程度是超乎想象的。以前我在Google工作，接触的数据量非常大，那个时候，大家一小时上传的视频时间长度已经大于人类历史上所拍摄的视频总和，这还是很多年前。即便是拥有丰富数据的Google也认为用一个AI模型来判断用户行为，提高用户转化是不太可能完成的，他需要一个比无限大的解空间还要大得多的数据量才能作出模型，且这个数据量还在不断变化。

问题10

iCDO：如果这是一个无法求得最终解的方程式，那么AI在业务决策领域可以做到什么程度？

王晔：可选变量或者解空间必须足够简单，也就是适合特定的场景，或者说场景很简单。比如一个看似简单的落地页优化，我们去做试验的时候，不可能什么都去试验，比如把图片、文字、按钮、颜色，投放渠道都融合在一起，现实的情况是，我们控制落地页优化变量，比如几种文字模板，几种轮播方式，几种不同图片，在变量简单的基础上进行试验优化。也许听着会有点难以接受，但是实际情况就是如此。

我们可以想象一下，比如说图像识别，最优秀的图像识别系统是基于神经网络和深度学习，可以识别出每一张带有狗的图像，很厉害，但实际上，我们可以针对这个图像识别算法制造一个陷阱图片，这个图片上没有狗狗，但是AI按照算法判断不出来，会识别错。这个意思就是说，让AI做对一件事情不是很难，但是要AI不做错一点事情就太难了。我们可以接受AI识别错一张图片，它的影响不大，我们也不会说AI不厉害，而是说它会有它适用的场景。

问题11

iCDO：确实是非常直白的解释，非常感谢王总，最后两个问题，我们回答眼前的现实，就是说A／B测试在增长导向的环境中越来越受重视，因为确实能够帮助企业进行精细化营销和运营。在这样一个非常好的发展环境中，您认为实现增长最大的挑战是什么？

王晔：坦白讲，企业最大的挑战不是增长工具，而是增长人才，能够帮助企业使用增长工具的人才。一方面，市场不够成熟，人才相对缺乏，用好工具的人本来就不多；另一方面，真正的增长黑客很少，而且增长黑客更多是个人英雄，要让它变成一个企业文化，还需要很长一段时间。其实，我们可以看到现在企业的领导和决策者，逐渐开始关注如何引进增长实践，也就是软件工具+人才的组合。

在这种情况下，第三方开始扮演比较重要的角色，比如，吆喝和客户的合作，更像IBM、Adobe这样，提供软件，也提供服务，扮演的是一个咨询服务者的角色，把我们的工具和最佳实践带给客户，同时带动企业内部人才，一起去运作和成长。

问题12

iCDO：最后一个问题，对于想要成为增长黑客的年轻人，您有什么建议吗？

王晔：成为增长黑客从某种程度上就是大胆试验，大胆试验需要的是聪明的脑袋和勇敢执行，这也是年轻人的优势所在，没有那么多条条框框的束缚。如果要说建议的话，我觉得就是年轻的时候，大家尽可能去背有KPI的工作，这样职业道路会非常宽广。当老板问你干过什么，你可以直接告诉他，我工作的KPI是什么，我是如何做的，提升了多少。去背KPI，你对自己的要求是完全不同的，必须去大胆执行，试错，优化；越往后面，大家对你的期待也是完全不同的。至于发展路径，我觉得实践出真知，你可以去看一些书，但这些永远都只能是辅助，这个时代真正的成长一定要做试验，做测试，去勇敢创新，不要害怕失败。

另外，也会觉得增长黑客虽然是一个很重要的角色，但它不一定是一个特点的岗位，每个人其实都可以成为增长黑客，哪怕你是工程师、设计师、或者支持性的岗位，你都可以用增长黑客的方式去工作，对增长负责，对自己负责。

采访：林森，iCDO原创作者，纷析数据联合创始人。撰稿：Summer侯蘇芸，iCDO原创作者，乐天行动，有趣有梦。

ICDO翻译志愿者招募

【号外】iCDO志愿者少量职能开放招募机会！

关于iCDOinternet Chief Data Officer (iCDO)，中文全称互联网数据官，中国专业化的学习型媒体平台，专注数据驱动的互联网营销和运营。

【iCDO专访】数据掌门人王晔：试验、增长、最简单的数据生产力