DigiMax
用户画像的含义
用户画像的作用
提取用户画像，需要处理海量的日志，花费大量时间和人力。尽管是如此高成本的事情，大部分公司还是希望能给自己的用户做一份足够精准的用户画像。
大体上可以总结为以下几个方面：
2. 用户研究：指导产品优化，甚至做到产品功能的私人定制等。
3. 个性服务：个性化推荐、个性化搜索等。
4. 业务决策：排名统计、地域分析、行业趋势、竞品分析等。
用户画像的内容
用户画像包含的内容并不完全固定，根据行业和产品的不同所关注的特征也有不同。对于大部分互联网公司，用户画像都会包含人口属性和行为特征。人口属性主要指用户的年龄、性别、所在的省份和城市、教育程度、婚姻情况、生育情况、工作所在的行业和职业等。行为特征主要包含活跃度、忠诚度等指标。
当然，对于特定的网站或App，肯定又有特殊关注的用户纬度，就需要把这些维度做到更加细化，从而能给用户提供更精准的个性化服务和内容。
用户画像的生产
1. 用户建模，指确定提取的用户特征维度，和需要使用到的数据源。
2. 数据收集，通过数据收集工具，如Flume或自己写的脚本程序，把需要使用的数据统一存放到Hadoop集群。
3. 数据清理，数据清理的过程通常位于Hadoop集群，也有可能与数据收集同时进行，这一步的主要工作，是把收集到各种来源、杂乱无章的数据进行字段提取，得到关注的目标特征。
4. 模型训练，有些特征可能无法直接从数据清理得到，比如用户感兴趣的内容或用户的消费水平，那么可以通过收集到的已知特征进行学习和预测。
5. 属性预测，利用训练得到的模型和用户的已知特征，预测用户的未知特征。
6. 数据合并，把用户通过各种数据源提取的特征进行合并，并给出一定的可信度。
7. 数据分发，对于合并后的结果数据，分发到精准营销、个性化推荐、CRM等各个平台，提供数据支持。
下面以用户性别为例，具体介绍特征提取的过程：
1.提取用户自己填写的资料，比如注册时或者活动中填写的性别资料，这些数据准确率一般很高。
2. 提取用户的称谓，如文本中有提到的对方称呼，例如：xxx先生/女士，这个数据也比较准。
3. 根据用户姓名预测用户性别，这是一个二分类问题，可以提取用户的名字部分（百家姓与性别没有相关性），然后用朴素贝叶斯分类器训练一个分类器。过程中遇到了生僻字问题，比如“甄嬛”的“嬛”，由于在名字中出现的少，因此分类器无法进行正确分类。考虑到汉字都是由偏旁部首组成，且偏旁部首也常常具有特殊含义（很多与性别具有相关性，比如草字头倾向女性，金字旁倾向男性），我们利用五笔输入法分解单字，再把名字本身和五笔打法的字母一起放到LR分类器进行训练。比如，“嬛”字的打法：『 女V+罒L+一G+衣E = VLGE 』，这里的女字旁就很有女性倾向。
4. 另外还有一些特征可以利用，比如用户访问过的网站，经常访问一些美妆或女性服饰类网站，是女性的可能性就高；访问体育军事类网站，是男性的可能性就高。还有用户上网的时间段，经常深夜上网的用户男性的可能性就高。把这些特征加入到LR分类器进行训练，也能提高一定的数据覆盖率。
用户画像涉及到大量的数据处理和特征提取工作，往往需要用到多数据来源，且多人并行处理数据和生成特征。因此，需要一个数据管理系统来对数据统一进行合并存储和分发。我们的系统以约定的目录结构来组织数据，基本目录层级为：/user_tag/属性/日期/来源_作者/。以性别特征为例，开发者dev1从用户姓名提取的性别数据存放路径为 /user_tag/gender/20170101/name_dev1，开发者dev2从用户填写资料提取的性别数据存放路径为 /user_tag/gender/20170102/raw_dev2。
从每种来源提取的数据可信度是不同的，所以各来源提取的数据必须给出一定的权重，约定一般为0-1之间的一个概率值，这样系统在做数据的自动合并时，只需要做简单的加权求和，并归一化输出到集群，存储到事先定义好的Hive表。接下来就是数据增量更新到HBase、ES、Spark集群等更多应用服务集群。
应用示例：个性化推荐
这时只用到了用户的行为特征部分，而人口属性、网购偏好、内容偏好、消费能力和环境特征等其他上下文还没有利用起来。把以上特征加入到LR模型，同时再加上目标商品自身的属性，如文本标签、所属类目、销量等数据，如下图所示，进一步优化训练原来的LR模型。从而最大程度利用已经提取的用户画像数据，做到更精准的个性化推荐。
作者｜杨杰 网易邮件事业部大数据工程师
点评
精确有效的用户画像，依赖于从大量的数据中提取正确的特征，这需要一个强大的数据管理系统作为支撑。网易大数据产品体系中包含的一站式大数据开发与管理平台 – 网易猛犸，正是在网易内部实践中打磨形成的，能够为用户画像及后续的业务目标实现提供数据传输、计算和作业流调度等基础能力，有效降低大数据应用的技术门槛。
