数据驱动的
互联网营销和运营

【数据周报】3分钟读完一周数据圈动态

DigiMax资讯团队阅读(1705)

iCDO资讯团队志愿者 范西西/匡艳红

1. 6-27  微博与尼尔森合作,建立社会化营销价值衡量体系

2. 6-28  Twitter神奇功能:比警方提前一小时知道哪里发生案件

3. 6-28  2017年大数据年中盘点——预测的趋势现况如何

4. 6-27  大数据解读京东6.18:明星直播一小时的销量是前三十天的1.5倍

5. 6-29  Drive.ai 宣布获5千万美元B轮融资,吴恩达出任董事

6. 6-23  QuestMobile:2017年“618”移动电商洞察报告

6月27日

微博与尼尔森合作

建立社会化营销价值衡量体系

 

2017 年 6 月 27 日,微博与尼尔森正式达成深度数据合作,双方将共建社会化营销价值衡量体系,一方面建立数字广告收视率衡量标准,基于微博大数据,帮助广告主通过微博的兴趣标签更全面的了解网民的行为偏好,更精确的定义互联网使用人群,同时在测量体系中提供统一测量标准来评估数字广告中针对目标受众的触达率。同样基于微博账户体系,尼尔森数字广告收视率(DAR)实现了在电脑、手机、平板的广告投放监测中识别同一受众并去重,从而有效控制触达频次。

另一方面,打造社会化营销价值的研究体系。随着微博社会化营销价值的不断凸显,以及企业客户规模达到百万级,微博联合尼尔森共同建立社交营销价值衡量体系 DBE,从品牌认知,喜好,购买意愿,再到推荐意愿等全方位开展营销价值研究,将帮助广告主、媒介公司更精准地评估社会化营销的价值回报,更清晰地看到社会化营销给品牌带来的价值,进一步优化微博的广告商业生态。

微博副总裁王雅娟表示:随着这套体系的不断普及,广告主、媒介代理公司和广告媒体平台将能够更全面的衡量移动新媒体营销的价值与回报,并最终使整个新媒体营销生态从中受益。

(消息来源于:36dsj.com)

6月28日

Twitter神奇功能:

比警方提前一小时知道哪里发生案件

在过去发生的多次灾难或者突发事件中,社交网络 Twitter 成为一个信息分享的重要平台,对于新闻报道、救援行动发挥了巨大作用。一个新的研究发现,如果某地发生案件或者突发事件,Twitter 能够比获得报案的警方提前一小时就得知消息。

卡迪夫大学负责上述研究的学者 Pete Burnap 表示,社交网络正在成为普通民众报告日常生活中意外事件的平台,这当中包括了日常治安混乱现象或是街上正在发生的犯罪活动。社交网络平台永远取代不了传统的警察资源,但是社交网络可以成为重要的情报和信息获取平台,了解突发事件和案件的发生,可以弥补警方传统的情报获取模式,并且利用新技术推出更多维护社会治安、处理意外事件的新方法。

上述的研究结果,实际上并不令人十分惊讶。Twitter 已经成为最大的碎片信息发布平台,一旦重大事件发生,各路目击者都会在 Twitter 上发布现场照片、视频,Twitter 甚至成为传统媒体获取新闻素材的来源地,民众也会在 Twitter 上关注事件的最新发展,发表自己的观点。

(消息来源: 36dsj.com)

6月28日

2017年大数据年中盘点

预测的趋势现况如何

作者:灯塔大数据

2016年底,我们对大数据在新一年的发展趋势做出了预测。

预测一:机器学习、人工智能和物联网将普及。IBM的Watson已经家喻户晓,人工智能威胁论时不时就霸占世界各地新闻头条。同样地,物联网的一大成功案例是信息技术服务供应商“EPAM系统”,2017年上半年该公司股票已经升值36%,以及“Skyworks”公司,在上半年其股价增长了47%,在股市的成功表明物联网市场正在蓬勃发展,这些物联网领域的大公司运营情况良好,预测准确。

预测二:人工智能准确度加强。在人工智能的发展过程中,准确度在不断增强。最好的证明是人工智能在医疗领域的应用,如乳腺X光检测、心脏病和中风治疗方面,人工智能的应用提高了治疗的精准性。预测准确。

预测三:公司需准备迎接快速运营(operate at speed)时代。这点我们现在很难去评定它到底准不准确,因为我们当时预测的是说,相较于投入人力财力发展内存技术和量子计算技术,越来越多的公司会选择集中精力扩大市场份额。因此现在很难说这些公司是否在积极准备中。

预测四:行业专业化减弱。这项预测现在不好说到底准确不准确,但是我们已经看到了一些零零星星的证据来为这一趋势作证,这些专家拥有数据应用相关经验,不仅仅局限于某个领域,越来越多的开始与外界合作,这样他们就不需要再去分散精力了解其他行业,只需要专注于提高数据应用的效率就够了。

预测五:政府将加大对数据的审查力度。毋庸置疑,数据已经成为各国政府关注的焦点领域之一,虽然在过去一年间,还唯一具有影响力的法案是欧洲《通用数据保护条例》(General Data Protection Regulation),该条例出台后,欧盟国家的政府和公司都根据要求加强了数据安全保护工作。预测准确性:准确

(消息来源于:36dsj.com)

6月27日

大数据解读京东6.18:

明星直播一小时的销量是前三十天的1.5倍

 

6月27日,京东数据研究院院长刘晖出席了由财视传媒、传播达人汇主办的2017全球大数据传播大会。

刘晖表示,从6.18的整个数据能够看到用户演变被分为三个层次,个性化突出、深度参与和多元化场景。通过可视化可以看到中国电商的分布热度,东南沿海,中西部等。在参与大促的用户分布中了解到电商的核心用户在于80后,崛起在于90后和45岁以上的人群。职业分布上,白领和职员是最主要的人群,PLUS用户在白领中的占比很大。整个大学以上的学历人群在所有的购买人群当中的占比非常高,PLUS会员更是如此,他们代表未来整个电商以及中国互联网发展的趋势。另外,6.18数据中女性用户同比增长了100%,女性用户的高速崛起带动了京东品类更加全面平衡。而男性则是典型的电力消费。数据显示,电商平台上价格不再是用户采购选择的第一方向,被品牌和品质取代。

在内容营销对电商的价值方面,刘晖透露,京东在6月17日和很多品牌商合作请他们的明星做直播。直播一个小时的销量是前三十天销量的1.5倍,内容对于现在的消费者有明确的拉动,只要做到正确的内容,就会有非常好的转化率。

(消息来源:http://wemedia.ifeng.com/20235950/wemedia.shtml)

6月28日

Drive.ai 宣布获5千万美元B轮融资

吴恩达出任董事

6月28日,Drive.ai宣布了其B轮融资规模达5千万美元。该轮募资由恩颐投资(NEA)领投,GGV纪源资本,以及Drive.ai的A轮投资方北极光创投等现有投资机构参与。此次融资将为Drive.ai的技术开发、全球覆盖及拓展能力提供资金支持。

Drive.ai一直致力于通过科技进步和思维倡导推动实现无人驾驶。其核心技术植根于深度学习中,使无人驾驶系统能够高效率、低成本地学习驾驶路线和场景。Drive.ai的经营战略是通过对车辆进行改装,将传统车辆转化为无人驾驶车型。Drive.ai开发的改装工具包将很快用于现有商用车队,今年稍后时间将开始试运营。

Drive.ai还邀请CarmenChang和吴恩达(Andrew Ng)加入了董事会。前几天,离开了百度三个月的吴恩达又带着一个名叫Deeplearning.ai的新业务回归人工智能实业圈。“无人驾驶领域的前沿已经完全转向了深度学习。”吴恩达说,“即使是传统的无人驾驶团队也有一些“零星”的深度学习,但是Drive.ai已处于利用深度学习构建真正现代无人驾驶软件系统的最前线。”

(消息来源于:http://www.iheima.com/zixun/2017/0628/163824.shtml)

6月23日

QuestMobile:

2017年“618”移动电商洞察报告

在6月1日-6月18日,京东商城累计下单金额达1199亿元,累计卖出商品超过7亿件,下面来看一下由QuestMobile总结的一份关于电商行业的数据。

• 2017年中国电商行业新现状

2017年5月,综合电商行业月活跃用户数近5.8亿,同比2016年增长23.8%,月复合增长率达1.8%;用户规模稳中有升,受季节波动较大,“双11”和“618”已经成为全民的购物狂欢节。

• 手机淘宝和手机京东每日用户数

今年618成为电商竞争的关键。手机淘宝作为重量级选手,DAU增长显著;DAU过亿的电商巨头618当天仍有超过20%的同比增长率,手机京东DAU较上半年平均值呈现翻倍的增长。

• 2015年-2017年手机京东618期间对比

对比2015-2017年6.18三个时间点的数据,京东APP的DAU分别为2115万、4018万、5017万,增速虽放缓,但基数够大,增长绝对值依旧可观。

• 手机淘宝和手机京东618期间人均使用次数

手机淘宝用户偏好在618两周前浏览商品,塞满购物车,618当天更加活跃。手机京东用户偏好在618前两周“逛逛逛“,该买的都买了,618当天,手机京东的使用次数与手机淘宝的差距显著缩小。

• 热门电商APP618当天使用时段用户分布

活跃用户时段分布上,天猫的午高峰在14点,晚高峰不突出;苏宁易购的午高峰在11点,下午活跃程度持续下跌,19点开始回升,晚高峰从21点持续到23点;聚美优品在11点和14点有两个小高峰,从15点开始活跃用户量开始上升,晚高峰在22点。

• 手机淘宝和手机京东618当天用户性别分布

淘宝系女性活跃用户较去年增长2640万,显著高出男性用户的增长京东用户以往以购买数码3C的男性用户为主,但随着京东不断推动的品类拓展和大量优质时尚品牌的引入,吸引了更多女性用户的加入,618当天,女性活跃用户较去年618增长240万。

• 手机淘宝和手机京东618当天用户年龄分布

手机淘宝和手机京东的用户越来越年轻化,24岁及以下、25-30岁用户增长显著,换句话说,80/90后已经成为了线上的核心消费人群,其中90后的用户增长显著超过其他群体。

• 手机淘宝和手机京东618当天用户城际分布

今年618较去年618相比,手机淘宝用户中二线、四线城市比例略有增加,总体来说增长较为平衡;手机京东的用户则开始下沉,二线、三线、四线城市的用户比例均有不同幅度的提高,四线城市增长最显著。

(消息来源于:(消息来源:http://www.iheima.com/zixun/2017/0628/163824.shtml)

【数据周报】3分钟读完一周数据圈动态

DigiMax资讯团队阅读(1376)

iCDO资讯团队志愿者 李夏萍/何晓霞

6月16号  数字营销品牌广告主峰会:TalkingData阐述数据在数字营销领域作用的新想法

6月17号  YouTube提供热图分析:75%的观众在360度视频中只看正前方

6月19号  百度视频携手神策数据,想为用户精准推送短视频内容

6月20号  Tableau Software为实现云服务本地化拓展努力中

6月21号  【友盟+】:2017年70后80后90后00后网民研究报告

6月16日

数字营销品牌广告主峰会:

TalkingData阐述数据

在数字营销领域作用的新想法

近日,iDigital数字营销品牌广告主峰会( iDigital Brand Summit China 2017 )于三亚正式开幕,本届品牌广告主峰会以Building The Trust为主题,吸引了近百家顶尖品牌公司高层执行决策者以及行业精英,共同探讨数字营销与品牌的未来趋势,探究中国数字营销的行业脉搏。

会上,每个演讲嘉宾都有所提及移动、大数据、程序化、场景营销、OTT等热词。市场看起来日新月异,但是从数据上看,其实近两年内各家广告主在移动端的预算才真正超过PC,程序化也从神坛走下来,大家开始重新去衡量精准与效果之间真正的关系。

TalkingData数据营销总经理宋显赫在大会上为大家解读了移动互联网+数据所产生的化学反应。

会上,宋显赫与大家分享了几个生动的案例,展示了目前TalkingData将移动数据应用在数字营销领域的几种玩法。

首先,媒介策略除了看大排名还能怎么玩?

然后,在程序化中,除了男女、性别、地域定向,利用移动数据还能做些什么?

最后,在AI到来前,或许我们应该先学会数据智能的应用。机器学习往往可以在效果类广告方面起到更惊人的效果。

6月17日

YouTube提供热图分析:

75%的观众在360度视频中只看正前方

YouTube为了给内容创作者提供创作上的技术支持,最近也推出了热图分析功能。即通过对用户在360度视频中视线焦点聚集区域的数据收集整理,来分析在一个可自由观看的媒介中,观众的视线更多聚焦在哪些位置。

从YouTube公布的早期360度视频数据分析看,还是挺令人吃惊的:75%的观众在观看360度视频时,视线只集中在90度的视域里,基本就是直视正前方。

主要是因为:人类在2D维度的娱乐习惯是长期养成的。如果不彻底更改娱乐的交互方式,人们还是会把目光依旧停留在舒适又省心的正前方屏幕上——除非我们能提供给大家在内容里动手动脚动脑子的乐趣。

同时YouTube也指出,VR平台对于不同设备的支持是不“平等”的,比如用Google自己纸盒眼镜Cardboard的观众,就得等几秒钟才能进入视频,而用那些PC端高级VR头显则无需延迟。

YouTube将为平台上所有超过1000次浏览的内容提供这个热图分析数据。创作者因此可以清楚了解观众在观看自己创作的视频时,哪些部分更吸引人,观众会在哪些部分停留更长时间。

去年,Facebook也为360视频创作者开通了简单的视频分析功能——FOV热图。事实上不仅是Facebook,Youtube,所有想做VR视频的平台都会开通VR用户视线分析功能。因为这些内容平台的盈利还是要靠广告,所以必须要为广告商提供数据。然而目前对于除Facebook,Youtube这样拥有海量用户和内容的巨头来说,其他VR视频平台面临的问题不是提供不了数据分析,是内容和用户都不足以撼动广告商的预算。

6月19日

百度视频携手神策数据

想为用户精准推送短视频内容

近日,百度视频宣布与神策数据正式签约合作,双方将整合资源,深化人工智能、深度学习和大数据技术在短视频行业的应用,欲引领短视频内容分发领域的技术新潮流。

未来百度视频和神策数据将会在大数据以及智能推荐等领域持续深化合作,不断推动短视频行业向人工智能化方向演进,打算真正建立起人与内容的高效连接。

6月20日

Tableau Software为实现

云服务本地化拓展努力中

日前,Tableau Software(纽交所代码:DATA)刚刚在大中华区第二届可视化分析峰会上发布了其Tableau 10.3版本。

据Tableau亚太区产品咨询高级总监TC Gan介绍,本次升级和改进主要着重在四个方面:数据源的连接、分析功能、企业化需求以及collaboration。

据其透露,为实现云服务本地化拓展,目前Tableau Software已和华为云以及华为FusionInsight大数据平台做了链接,已可以连接上华为的云服务。

叶松林表示,Tableau希望做到可视化和直觉性,在两个方面公司都会继续投入。

目前,Tableau作为一款可视化软件,可分为桌面版、服务器版和公众版,即为Tableau Desktop、Tableau Server以及Tableau Public,分别针对不同的用户。

其中Tableau Desktop是一款PC桌面操作系统上的数据可视化分析软件,分个人版和专业版(个人版只能导入excel,专业版可以导入各种数据库)。

Tableau Server则是完全面向企业的商业智能应用平台,基于企业服务器和web网页,用户使用浏览器进行分析和操作,还可以将数据发布到Tableau Server与同事进行协作,实现了可视化的数据交互,其根据企业中用户数的多少或企业服务器cpu的数量来确定收费标准。

Tableau Public是完全免费的,不过用户只能将自己运用Tableau Public制作的可视化作品发布到网络上即Tableau Public社区,而不能保存在本地,每个Tableau Public用户都可以查看和分享,而且Tableau Public所能支持的接入数据源的类型和大小都有所限制,所以Tableau Public更像是Tableau Desktop的功能阉割版和公共网络版,重在体验和分享。

此外,为了培养用户习惯,完成公司潜在客户部署,Tableau还举办可视化比赛以及推行在校学生免费使用软件政策。“所有学生只要凭借学生证,在学校期间,Tableau会授权给他,让他免费使用去做分析。”

6月21日

【友盟+】:2017年70后80后

90后00后网民研究报告

 “柒零后”、“捌零后”、“玖零后”、“零零后”成为主要网民群体,他们既是互联网的使用者,也是影响互联网发展方向的重要因素。研究他们的习惯和需求,就是研究互联网生活化的主要发展趋势。

为方便研究,报告选取了一线二线城市网民作为研究样本,这些地区互联网信息服务更新速度快,多样化程度明显,更能凸显互联网带来的变革和价值。

每一代网民对互联网的印象不同

“捌零后”、“玖零后”处于重要的人生阶段

社交、医疗健康类应用受青睐;医疗、母婴类应用受青睐;母婴、教育类应用受青睐;对游戏、社交和读书兴趣深厚,教育类应用使用机会多。

回归大人的世界

【数据周报】3分钟读完一周数据圈动态

DigiMax资讯团队阅读(1893)

iCDO资讯团队志愿者 范西西/匡艳红

1. 6-11网络安全新规落地,大数据时代下的隐私问题终于有解了2. 6-15  让AI聊天机器人成为谈判专家 Facebook前进了一大步

3. 6-15极光大数据发布2017年5月王者荣耀研究报告

4. 6-15  Tableau 在上海发布多项新产品 10.3进一步驱动数据秘密

5. 6-15  火力全开:大数据领域2017年全景剖析

6月11日

网络安全新规落地

大数据时代下的隐私问题终于有解!

6月1号,《网络安全法》以及最新刑事司法解释正式施行,信息安全尤其是个人隐私保护的问题产生了质变;而受冲击最大的,就是方兴未艾的”大数据”领域。从前期的预热,到法规的发布,再到一系列案件的发酵和执行,已经让不少这个领域的玩家感受到了”适用主体广、入刑门槛低、适用刑罚严”等特点。规则改变之后,大数据的发展将转入新阶段。

2015年,《刑法修正案(九)》对刑法第253条作出修订完善,定义了”侵犯公民个人信息罪”,非法提供公民个人信息和非法获取公民个人信息都将入刑。在今年6月1日起生效的司法解释中,明确”出售”和”非法发布”都是非法提供行为,而对于非法获取,不仅包括”窃取”,只要无法提供获取的正当性,或者违反国家有关规定,都可以视为犯罪。

新法规的量刑标准,:高度敏感信息50条、敏感信息500条、其他个人信息5000条,违法所得5000元,就达到了”情节严重”的标准,适用第一档量刑,如此严厉的处罚条款彰显了对个人信息保护的坚决态度。

6月1日新法规的执行,即将成为大数据产业的分水岭:赶走那些借着大数据的名义骗钱、倒卖个人隐私信息的害群之马,让大数据产业朝着正确的方向发展,利用数据推动科技进步和社会发展。

(消息来源于:http://www.sohu.com/a/147931777_116132)

6月15日

让AI聊天机器人成为谈判专家

Facebook前进了一大步

北京时间6月15日消息,Facebook AI Research(简称FAIR)团队最近发表论文,介绍了机器人如何在会话中提前制定计划,使用谈判策略。在训练聊天机器人谈判方面他们已经取得进步。

在博客文章中,Facebook说聊天机器人可以进行简短会话,完成一些简单任务。不过要完成有意义的对话是一个挑战,因为聊天机器人必须将自己掌管的、与世界有关的知识整合起来,理解对话。

Facebook的代码是开源的,论文也已公开发表,它希望在公司研究的指引下,行业可以开发出更棒的机器人,它们拥有更强的谈判能力、可以做出明智的妥协、可以说出新颖的句子。

不过Facebook在聊天机器人报告中只是进行了分析,这样就带来一个疑问:Facebook的AI成果真的植入产品了吗?爱迪生投资研究公司(Edison Investment Research)分析师理查德·温莎(Richard Windsor)在研究报告中指出,在生产过程中Facebook数字助手缺少AI元素。

Facebook研究团队正在朝着“全能”机器人前进,只是还有很多工作要做。

(消息来源: http://tech.sina.com.cn/it/2017-06-15/doc-ifyhfnqa4200330.shtml)

6月15日

极光大数据发布

2017年5月王者荣耀研究报告

 

极光大数据发布《王者荣耀研究报告》,从渗透率、日活跃用户数、月活跃用户数、日新增用户数、用户使用习惯及用户画像等方面,全方位剖析这款现象级手游的成长史及现状。极光观点:

· 2017年5月的王者荣耀用户规模超两亿,渗透率高达22.3%。

· DAU、MAU半年翻倍!5月份日活跃用户达5412.8万人,月活跃用户达1.63亿,较去年12月数据增长100% 。

· 过去半年日均新增用户数达174.8万,日新增用户数相当于一个县的人口数!在春节期间和周末增长更为明显。

· 王者荣耀用户日均使用次数为2.33次,日均使用时长为47.2分钟,而晚9点-11点是游戏高峰期 。

· 年轻化趋势明显,24岁以下的用户超过52% 。

· 54%的玩家都是萌妹子!女性玩家占比超过男性 。

· 群众基础广泛,二三线及以下城市用户占比达90.5% 。

· 华东人民爱王者,约1/3的玩家来自华东地区;而最爱玩王者的城市top5分别为北京、广州、上海、郑州及重庆。

(消息来源于:http://www.jiemian.com/article/1396893.html)

6月15日

Tableau 在上海发布多项新产品 

10.3进一步驱动数据秘密

近日,可视化分析品牌 Tableau Software(纽交所代码:DATA)在上海龙之梦万丽大酒店成功举办大中华区第二届可视化分析峰会上海站活动,展示创新产品成果,分享企业发展动态。

Tableau 亚太区产品咨询高级总监 TC Gan 就未来三年产品路线图发表主题演讲,其中包括全新数据引擎 Hyper、全新自助式数据准备工具 Project Maestro 和支持 Linux 环境的 Tableau Server,并展示了 Tableau10.3 的全新功能:引入了自动表格和联接建议等功能,能够通过机器学习算法,简化分析搜索正确数据的过程,并帮助公司及机构以前所未有的速度获得数据驱动型的洞察。该版本还包含数据驱动型通知,让用户可以对关键指标进行主动监控。10.3 版本新增六种新数据源连接,并能够从 PDF 文档中提取数据,实现迅速分析。

目前,Tableau 在全球拥有超过 57,000 家客户及逾 90% 家世界 500 强客户。其中亚太地区有 9,600 家。上海是今年 Tableau 大中华区可视化峰会的第二站,囊括了 20 余场主题分享。今年的可视化分析峰会上,来自可口可乐、安盛天平、甜橙金融、卡行天下、英孚和相宜本草等众多行业专家、数据爱好者和客户都分享了各自的数据分析成功案例。

(消息来源:http://www.36dsj.com/archives/85966)

6月15日

大数据领域2017年全景剖析

数据生态系统在2017年终于实现了火力全开。InfoQ翻译出了一份关于这一行业的趋势和2017年全景分析

一、趋势:

1. 上层趋势:大数据 + 人工智能”已经成为很多现代化应用(无论面向普通消费者或企业的应用)的默认技术栈。大量初创公司和一些财富1000强企业都在使用这种新的技术栈。

2. 企业的预算:逐利。过去多年来,在我们与大数据技术的买家和卖家的交谈中,我们发现财富1000强公司中,越来越多的预算被用于对核心基础架构进行升级,以及与数据分析有关的技术,大家都对大数据技术给予极大关注。很多分析机构也认同这一结论:IDC预计,到2020年,大数据和分析市场将从2016年的1300亿美元市场规模增长至2030亿美元。

3. 企业数据正在陆续上云。大家已经逐渐认识到“反正我们的客户数据本来就已经保存在Salesforce的云中”,或者“在网络安全的预算方面,我们的投入与AWS压根儿没得比”。云供应商在安全与合规(HIPAA)等方面的辛苦努力终于得到了证明和回报。目前离大部分企业数据都保存在公有云中这一目标还有一定距离。

二、2017年的大数据全景

1. 风投们会继续注资各家新老公司。全球范围内大数据初创公司在2016年得到了风投机构总计148亿美元的投资,其中10%由全球性的技术VC提供。

2. 2016年全景中曾经提到,并购活动已在有序进行,但没有特别让人印象深刻的,也许部分原因在于私营公司的估值始终居高不下,2017年,并购的节奏大体上会与去年持平。

3. 一些大型大数据初创公司正在变成独立的上市公司。SNAP可以说是带动了技术公司IPO市场的复苏,但截至目前,能够借助该机会成功变现的依然只有大数据领域的公司。

4. 打响云端战役。按照企业IT行业的标准来说,云供应商的规模依然不算大,但这些公司的野心(包括在企业技术栈中,将自己的地位从IaaS层面上升至应用程序层面的明确意图)和稳扎稳打将企业数据迁往云端的做法相结合,意味着与传统IT供应商的全面战争已然打响,大家在争夺庞大的企业级技术市场的控制权,而大数据和人工智能将会是核心战场。

三、2017年,大数据生态系统全景回顾

1、基础架构:SQL已经正式回归了。过去十多年来一直面对NoSQL技术“打压”的SQL数据库技术现已正式回归。Google最近发布了云服务版的Spanner数据库。Spanner和CockroachDB(Spanner的开源版本)承诺提供一种高存活性、强一致性,可横向扩展的SQL数据库。

2、数据虚拟化。在公有云的接受度方面有个有趣的趋势:数据虚拟化产品的使用率正在快速激增。较为古老的ETL流程需要移动海量数据(并且通常需要为数据集创建副本)并创建数据仓库,数据虚拟化技术使得企业可以无需移动,在原地进行数据分析,借此提高速度和敏捷性。

3、数据管控和安全性。随着大数据在企业中的应用日益成熟,并且数据的种类和数量依然在与日俱增,有关数据管控之类的话题也变的越来越重要。很多企业已经选择通过“数据湖”的方式创建一个中央仓库,用于保存自己的所有数据。或大或小的供应商(Informatica、Collibra、Alation)纷纷提供功了数据编录、参考数据管理、数据辞典,以及数据帮助台等产品

总结:大数据与人工智能强强联合,我们即将进入“收获”的季节。忽略各种炒作,我们迎来了数量众多的可能性。随着核心基础架构以及应用程序端日渐成熟,人工智能技术驱动的应用将迎来井喷期,2017年,大数据(以及人工智能)生态几将火力全开。

(消息来源于:http://www.infoq.com/cn/articles/the-2017-big-data-landscape)

【数据周报】3分钟读完一周数据圈动态

DigiMax资讯团队阅读(2291)

iCDO资讯组志愿者李夏萍/何晓霞

5月12号  中国Oracle用户使用情况分析报告;

5月14号   苹果确认收购暗数据分析公司LATTICE;

5月15日  VMware收购Apteligent,为Airwatch提供更有力的支持;

5月17日  中国电信多款天翼大数据产品齐发;

5月17日  中国将建全国一体化的国家大数据中心。

5月12日

中国Oracle用户使用情况分析报告

在刚刚结束的“2017中国数据库技术大会”上,Oraclemp分享了一个主题:数据与基石 – 中国Oracle用户使用情况分析报告。在这个主题中,通过分析来自 Bethune 平台的概要数据,分析了具有参考意义的趋势信息,展示了中国 Oracle 用户使用 Oracle 数据库的习惯和趋势变化。

从版本上看,目前 Oracle 11.2 仍然是毫无疑问的主流,但是12c 的使用量正在上升。在这个分析维度中,我们注意到有超过一半的数据库在安装之后没有应用过任何补丁,这意味着数据库中可能已经存在大量已知的安全风险。

在一个优化案例中,客户因为查询用户数量极多,导致 SQL 多版本问题显著,每条多版本的 SQL 甚至占用数十 M 的共享内存,再加上中文命名的问题,这个数据库的 Shared Pool 大小远远超过了 Buffer Cache:

在参数设置的分析中,可以看到Oracle 12.2的一个新特性:Recovery Buddy,通过这个特性,Oracle 将原来的实例重配置加速,消除了之前版本的冻结时间影响:

在 Oracle 核心的日志处理上,自11g 开始已经做出了很多重大改变,这些改变一直在不断提升 Oracle 的 OLTP 核心处理能力:

Bethune 表示他们的目标是让每一个工程师都能成为数据库运维专家,坚持多年,回报行业,Bethune 一定会将免费的策略进行到底。

5月14日

苹果确认收购暗数据分析公司LATTICE

据了解,苹果方面已经确认了对LATTICE公司的收购(这家公司的前身是斯坦福大学计算机学院的研究项目DeepDive,主要内容是借助人工智能的方法研究和暗数据中的价值),并且发出电子邮件进行声明:“苹果不时收购小型科技公司,我们一般不会讨论我们收购的目的或计划。”

 

LATTICE公司采用深度学习技术并大大提高了可用性,可以进行训练、推理和预测,最大的亮点是能够从非结构化的数据(如一般的工作文档和图片)整理出结构化数据(如SQL数据库),并把这些数据合并到现有数据库以拓展整个分析结果的深度广度。

什么是“暗数据”(dark data)?

这里的“暗”(dark)并不是要表达“明”(light)的对立面,而是要体现数据可能是杂乱的、多种格式共存的、进行了记录但是没有派上用场的、进行分析整合总结之前的以及没有明确目的性的数据。除了传统结构化数据库(各种SQL数据库)可以直接进行信息读取、分析和推理,以及大数据可以建立模型从复杂但相关的数据中分析规律外,其它没办法直接提取信息并进行分析得到结论的,都可以称作暗数据。

暗数据到底有没有价值呢?

现在对它价值的认识主要有两种观点:一种观点认为不对这些数据进行分析,就没法发现其中有些重要但尚未被人注意过的机会;另一种观点是,如果这些未经分析的数据处理不当,可能会有法律和安全方面的许多问题。

为什么很少有人考虑过如何处理这些数据?

1. 收集数据时候优先级太单一。

2. 技术和工具的限制。

这里有几个尽量好地利用暗数据的建议:

1. 经常审查和整理数据库。

2. 用很强的加密手段加密数据。

3. 准备好数据保留和安全丢弃措施

5月15日

VMware收购Apteligent

为Airwatch提供更有力的支持

总部位于旧金山的Apteligent是世界上第一个提供移动应用性能监测管理方案的初创公司,其主打产品能分析App实时数据,诊断程序崩溃原因。目前支持iOS、Android、WP8、Hybrid以及HTML5应用。

自2011年成立以来,Apteligent共募集了近5000万美元,其中包括Scale Venture Partners,Google Ventures,Shasta Ventures,KPCB,AngelPad和AOL Ventures等投资机构;战略投资者包括埃森哲和此次的收购方VMware。

此次收购对于VMware而言试一次很好的业务整合。此前VMware于2014年曾收购AirWatch,AirWatch在全球范围内共有8000多名企业级客户,管理其最有价值的资产:移动设备,包括这些设备上的应用和内容。

此次收购Apteligent之后,AirWatch将能够为其移动客户提供更强大的数据分析与监控功能,比如性能管理,减少崩溃事件、减少用户流失,Xamarin SDK等等。

5月17日

中国电信多款天翼大数据产品齐发

2017/5/17,中国电信在京召开了以“提速降费 服务升级”为主题的发布会。在发布会上,中国电信发布了天翼大数据“飞龙”、“鲲鹏”和“星图”系列产品,并解读了天翼大数据指数的应用意义。

在本次发布会上,中国电信股份有限公司云计算分公司总经理吴湘东做了主题发布,并着重强调了飞龙大数据平台云网数融合,贯通数据、平台与服务,构建产业共赢生态,助推智能化社会等方面发挥的重要作用。

中国电信打算致力于依托飞龙大数据平台,打造服务社会的共赢生态。据了解,目前中国电信天翼大数据已服务政务、旅游、金融等十大行业,200家政府和企业客户,解决了政府监管、金融安全、旅游改革等重大难题。

在本次发布会上,中国电信天翼大数据发布全新的天翼大数据指数,包括智慧家庭指数、智能终端指数、手机应用指数。

5月17日

中国将建全国一体化的国家大数据中心

中国工信部总工程师张峰在工信部 5月17日举行的2017年世界电信和信息社会日大会上作出如下表述:中国将建设全国一体化的国家大数据中心,推进公共数据开放和基础数据资源跨部门、跨区域共享,提高数据应用效率和使用价值,同时加强安全监管,严厉打击非法泄露和出卖个人数据行为,维护网络数据安全。

5月17日是世界电信和信息社会日。今年的主题为“发展大数据,扩大影响力”。

大数据是网络信息技术与经济社会各领域深度融合的产物,对于未来的互联网生态、创新体系、产业形态乃至社会治理结构等都将产生革命性的影响。

研究显示,中国的数据总量正在以年均50%以上的速度持续增长,预计到2020年在全球的占比将达到21%。产业新形态不断出现,催生了个性化定制、智慧医疗、智能交通等一大批新技术新应用新业态。

然而,大数据产业也存在资源开放共享程度低,数据价值难以被有效挖掘利用、安全性有待加强等问题。

张峰说,工信部将推进公共数据开放和基础数据资源跨部门、跨区域共享,优先推动信用、交通、医疗、卫生、就业等领域的数据向社会开放。研究制定工业大数据发展路线图,推动大数据和制造业融合发展。同时还将强化数据资源在采集、存储、应用和开放等环节的安全保护,推动电信和互联网数据管理细则出台。