大数据浪潮来自三股力量推动：技术社区，市场，学术圈。

 

　　2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”，明确提出 MapReduce。值得注意的是，Google 并没有发明什么，’分布执行-中央汇总’ 是最朴素古老的并行思想，Google 这篇文章价值在于，把这种并行思想流程化、规范化了，并提出了可能的实现架构。市场迅速对此作出反应，很多软件实现涌现出来，其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。

 

　　2008年前后以安卓手机为代表的智能设备开始普及，信息采集成本前所未有得低，物联网，大数据变现前景变得乐观。众包思想，自媒体概念深入人心。

 

　　2010年，无人驾驶汽车开始测试，2012年3月到2013年12月，美国先后有四个州通过了自动驾驶汽车可上路测试的法律。

 

　　2011年，IBM 机器人 Watson，参加美国智力节目Jeopardy，挑战两位人类选手Ken和Brad，获胜。

 

　　2011年，深度学习(Deep Learning) 引爆了学界，深度神经网络，ensemble learning, 增强学习这些高度依赖数据规模的算法得到应用。 年度大事件是 “谷歌大脑” 项目实现了机器系统对各种不同类型猫图像的自动识别，正确率与人类判断接近。

 

　　2012年11月，大型国际科研合作项目“千人基因组计划” 二期目标完成，这一成果将有助于更广泛地分析与疾病有关的基因变异，改善全球人类健康状况。

 

　　2013 IBM Watson 系统，微软小冰，苹果Siri 全面开花，标志着大数据进入深层价值阶段。

 

　　2014 年中，善解人意会聊天的微软机器人小冰出生。

 

　　2015 年底，Google 开源智能引擎 Tensorflow。

 

　　我只列举了我熟悉的领域标志性事件，实际上每一年每个领域这个列表可以铺满一页。

 

 

　　每次重要的技术革新都带给市场一次重新洗牌的机会。这次革新体现尤为突出，值得注意的是这次变革开源社区一开始就参与进来，并且始终在技术层面上推动。这一点不同造成影响非常深刻，甚至改变了游戏规则。

 

　　第一就是传统巨头和初创公司之间的硬件资源壁垒变的不明显了。Hadoop 问世之初被称为’穷人的大数据’，因为可以低成本使用廉价硬件堆叠计算能力，给那些买不起 IBM 小型机的企业，特别是创业公司，与巨头竞争的机会。另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致，一个热门服务短时间就能吸收巨大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。

 

　　相对小公司的热情拥抱，大公司用谨慎的步伐适应这个转变，特别是传统行业。第一怀疑开源产品的稳定性和安全性，第二大家习惯了付费从厂商得到支持，而不是自己参与到工具维护开发，甚至回馈技术社区。可是一旦度过转型期，大公司充分利用自己的渠道优势，资源优势，会想尽办法把大数据变成巨人游戏。技术只是入场劵，在所有门槛里，这是最低的一道。巨人的游戏考验的是装备，耐力，人力，业务积累，那些成功的小公司的绝不是凭技术胜出。

 

　　大公司的优势之一是积累深厚，后劲足。大公司还有个优势是，有足够体量消化大数据的能量。如果公司业务线丰富，比如阿里、腾讯、百度、平安等，同一份数据在多个业务部门都可以释放一次能量，这给了大公司更多空间对数据精耕细作。

 

 

　　数据是非常脆弱的核心竞争力，数据本身不管多么大，无法支撑一个公司的长久运营。脆弱的原因是收集成本与复制成本极度不对等，特别是当前监管落后市场很多，一家电商网站一年的交易情况一个盘阵就可以塞满；在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入囊中。公司在制定数据战略的时候要认真考虑这种不对等，多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多，实际上回顾 2010-2015 的互联网的圈地狂潮，大伙儿都在做的两件事就是：抢占入口，自建闭环。为了抢占入口各种地推烧钱，明争暗斗无需多言。入口抢到了闭环的建立更困难。典型的数据闭环是：数据在消费端生成，通过交易、服务渠道完成采集，经过清洗汇总进入仓库，加工分析应用到业务流程，市场反馈再通过消费端回来。这个闭环对业务流程的增量改进意义重大。

 

　　说到闭环建设，亚马逊和 eBay 5年间的地位更替很有代表性。 2015年，亚马逊值刚刚超过了3000亿美元，eBay 曾经是亚马逊的主要竞争对手，在金融危机的2008年，两家公司的市值还不相上下，但是现在只是它市值的四分之一。这5年发生了什么？亚马逊是非常在意渠道建设和闭环打造，除了在线交易，在云计算，物流，支付，智能硬件，电子出版，新媒体都有大量投入，相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步，亚马逊采取的直营方式便于培养早期的用户，但到2001~2007年电商快速发展，抢到流量就是抢到钱，eBay这样的轻资产模式很快就能实现变现，所以它也是最先盈利的电商之一，此时亚马逊是落后的。2008年的金融危机之后，电商行业又经历了新的变化，交易额高速增长的时代告一段落，公司价值的竞争由过去的单纯交易额和用户驱动变成了价值链经营驱动，而实现了闭环经营的亚马逊的市值又实现了反超。2015年第二季度，亚马逊服务收入已经超过60亿美元，其中三分之一来自云服务，其他的来源还包括云平台、物流、广告，这部分业务可能会成为亚马逊未来盈利能力的主要来源。

 

 

　　大数据最关键的一个环节是数据解读。如果并不懂数据的作用时，他们就不会参与，当他们不参与时，数据就没有价值。数据团队的工作如果不能落在实处，前面所有环节都是徒劳。

 

　　Airbnb 公司的例子为数据团队如何推广工作结果提供了很好的范本。

 

　　Airbnb是成立于2008年8月的旅行房屋租赁公司，Aifbnd 非常有远见，在团队只有7个人的时候就有了专职大数据工程师，公司发展中每一次重大决策，数据团队都发挥了重要作用。在早期团队规模小的时候，大数据团队工作模式是集中式的，分析团队的意见可以很快传达到决策层，业务端的反馈也同样。随着公司成长，沟通链条变得越来越长，数据团队有被悬挂的感觉。其他同事不明白如何和我们互动，其他人对我们没有完全的理解。随着时间的推移，数据团队被看成一种静态资源，被要求提供数据，而没有能够主动思考未来的机会。随后数据团队被重新组织。仍然遵循集中的管理，但是走出自己的小组，进入每个需求部门，直接同工程师、设计师、产品经理、营销人员等等沟通。这样做增加了整个公司的数据利用率，也使数据科学家成为积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市，2015年2月28日，估值将达到200亿美元。

 

 

　　以往的分析模型大多是大模型＋小数据，我们对模型本身做很多的假设和约束，人为干预在抽样环节已经开始，在结果出来前就已经针对预期输出准备好可能的解释。大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样，也不对分布做太多假设，用全样本输入；以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数据＋小模型在很多领域取得了成功，特别是在决策短的情况下，只要数据量足够大，可以得到一些直接的洞见。

 

　　2006年以前，赛林格受命用大数据为亚马逊增加营收，那时亚马逊作为单纯的在线零售商并不为起平台上的商家做广告，塞林格认为在广告销售有很大的利润潜力，于是将这件事汇报给了自己的老板贝索斯，后者认为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广告？”。尽管贝索斯不喜欢也不支持这个想法，但是他允许赛林格的团队在网站上进行小规模测试，结果成为了亚马逊有史以来最盈利的项目，他们把协同过滤，结构最简单的推荐算法，做成了大数据一个经典案例。

 

 

　　大数据决策的另一个极端是过分专注于大数据的技术讨论，而忽略了一个基本事实：大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来解决，但是经历十年快速发展，我们仍然处于大数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的，试图从量上突破。已经积累了大量数据的企业，可以快速兑现历史红利，当前的火爆很大程度是确实很大一部分过去二三十年甚至更久数据积累的一次集中释放。当浅层数据价值挖掘干净后，如果没有健康持久的业务模式，问题还在哪里。现在我们的大数据在五年后会变成小数据，MapReduce，Hadoop，stream computing 等概念会变成理所当然的基本操作，甚至集成在语言本身，在业务层面感知不到它们的存在。现在或许是大数据最热闹的时代，当在大数据真正回归业务的时候，才是大数据最好的时代。能活到那一天的都是从现在开始把大数据往深处做的人。

 

　　大数据不是神话，不是泡沫，它是一些实在的工具和方法的综合，是在其上构建的创意和生意。大数据已经走过十年辉煌，让我们继续期待。