评估归因模型供应商的6个问题

译者：互联网数据官志愿者 王全鹏

有些公告比较棘手。FaceBook将会因为其错误使用视频广告效果评估指标而被起诉。如果FaceBook没有主动公布这些信息的话，是否仍将被卷入这场法律事件中？我想答案仍然是肯定的，因为真相终将无法被隐藏，广大营销界人士需要真相并且有权了解真相。

提出正确的问题，会帮助你更接近事情的本质，尤其是对于营销效果评估建模来说，此点尤为重要。

这里有一个问题列表，可以用来向归因模型供应商和数据科学家提问，以便系统、深入的了解归因相关的话题。

问题1： 模型使用了什么算法？

就像科技进步那样，在数据科学上也有很多的进步。很多像我这样的非数学专业人士都很喜欢逻辑回归算法(LR)，因为它是我们理解最深的方法之一。在末端的方程中，有一个因变量和许多自变量，这些自变量决定了每个变量是如何描述因变量（原文是自变量）的变化的，比如销售额。

这是一个完美的场景——如果我在搜索，视频和电视广告上增加 X的预算， 由那个全能公式可预知，我的销售额将会增加到Y。但是如果有季节性因素的影响，销售额会产生什么变化？如果砍掉电视广告上的预算，对整体的营销组合又有什么影响？

上面提到的那些算法，能够帮助我们统筹考虑季节性因素和渠道间相互影响的因素。由此也带来了第二个问题：

问题2：同时使用了多少种算法？

每个算法都有自身的长处和短板，在算法的使用上，最好不要把所有的鸡蛋都放在同一个篮子里。而且每一个行业都有其独特性，甚至在同一个行业里，每一个客户都会有不同的表现。

例如，在同一个行业中，我们发现有一家客户在使用逻辑回归算法(LR)时，能有90%的概率预测正确，但是，对另一家客户，使用LR算法仅能准确预测到30%的变化。

实验设计或者A/B测试被引入了很多的高级机器学习算法。这些机器学习算法，将挑选出经测试切实有效的方案，并且用来加强自身的预测能力。

问题3：多种算法是如何组合使用的？

一个融入了多种算法的组合模型，比多个依靠变量交换进行通信的独立模型，更能平衡不同算法的优缺点。但为了组合多个算法，也需要数据科学家们拥有特征工程相关的经验。

问题4：模型如何验证的？

就像一个在为奥运会做训练准备的运动员那样，应使用实际的业务数据训练模型，以让它更好的找到现实世界的规律。这看上去像模型会尽量理解数据中的变化规律，以应用到未来某个场景中进行预测。

如果一个运动员训练是为了1500米比赛，他努力训练，然后尽力做了一个比赛冲刺，最后这个人可能成功，也可能不成功。但是算法不同，算法的目标是适配所有场景的，并且如果只记忆一个场景，其预测结果可能只在现实世界中复现相同场景时才能准确，不然的话，就有可能导致一些悲剧的结果。

所以使用实际业务数据进行效果验证，以及例行的效果监测，是很有必要的。

问题5：模型升级或者验证的频率如何？

在大多数组织中，一个模型被创建后，就基本很少升级更新了。我建议每天改变业务条件变量，并对模型的预测效果进行持续的监测。

最佳实践是，保证在每次使用模型时，预测效果必须是可追踪的，并且保证若效果有了衰退，模型必须可以修正，这样子的优化才是精确的。这也使我们具备了基于一个标准的基线去衡量”品牌资产”的能力，甚至还可以进行小时级的调整。

问题6：洞察的粒度有多细？

效果营销人员需要以很细的粒度，在每天或更短的周期内调整其广告策略，以适应不断变化的趋势。

相比长期趋势来说，算法更难预测较小、较短期的变化。预测营销效果和预测每日股票是类似的。 如果算法能够准确预测短期目标，那么在长期预测（如明年预算）中完成收入目标的准确性更高

为了使品牌持续占领跨渠道消费者的心智，需要非常精细的创意或关键词级别的推荐，因此，也需要靠数据提供这种能力。