什么是大数据

大数据通俗的讲是四个V：数据的总量很大;数据具有多样性;数据是高速产生的又需要高速处理的;数据本身有潜在的价值，但价值比较分散。

大数据和云计算结合起来，有可能会带来我们在信息产业中的第三次高峰，第一次是信息高速公路，第二次是互联网化，第三次就是数据加计算。站在战略层面上讲，希望大数据和云计算加在一起能够成为第三次工业，因为它会带来新的能源、材料，以及新的加工工艺。

对大数据的理解不应仅仅局限于技术领域，而应成为一项业务上需要优先考虑的任务，因为它能够带来全球整合经济时代商业模式的巨大变革。业界已经从对大数据重要性的认识阶段，发展到实践大数据的必要性的战略实施阶段。

总体来说，大数据是一个基于多元异构、跨领域关联的这种数据运用，通过深入和分析产生的运用，它会带来我们生活各个方面的变化，这是一个理念的变化，也是未来所有的新型企业甚至包括新型和的一个核心战略。如果大数据是一个时代就像互联网化一样，它是能够影响和摧毁一切的时代。我相信每一个企业都需要做好这方面准备。

大数据的趋势

第一个大的趋势是数据总量一直在极速上升，这个大家都了解，现在我们一天能产生的数据大概有2个Z，相当于1000年前，我们10年才能产生的数据总量。

第二个大的趋势是数据形态发生很多变化，我们在电商平台中读到很多品类，看到很多商品图片，我们看一个奢侈品，有没有一些假货，我们必须要比较很多不同的图片。我们同时还会看到一些好的电商平台，已经有了视频和音频，所以我们现在处理的数据，不是很多年前简单结构化、表格数据，而是很多音频、数据等等。

第三个大的趋势变化，是数据关联形态发生变化，今天我们一个人既在微信网络中，也在微博网络中，还在手机通讯网络中。与此同时我们监测到这个手机买了什么东西，它知道他线下使用医保、社保的数据，我们甚至还知道他汽车交通出行数据，那么这些数据加在一起，我们通过这些来自不同领域的数据，来全面理解一个人、探索这个人的兴趣，找到他需要的产品，这是第三个大的趋势。

这些趋势使得整个电子商务的服务，不再是以前一款好商品卖给所有人，而是从全体到群体，最终到达一个个性化的服务。整个大数据从理念上来讲，是海量数据处理所带来的一系列的颠覆变化整合，对于未来新兴企业，甚至新兴都是战略核心的关键。

大数据为我们带来什么

“对于企业来说，不管是大数据还是小数据，只关心一点：这些数据能不能帮助企业建立核心竞争力。”这句话或许真正道出了企业对待大数据等一些技术、概念的真实想法。

大数据将为商业带来附加价值，带来创新、转型、变革已经是不争的事实。大数据也给了一个机会，它能够更快地追赶英国、美国或者其他欧洲发达。如果就具体的市场来说，大数据不仅给市场，也包括技术的市场带来的最大的改变，或者是影响是深度创新。我们以前讲创新可能是小规模的，局部的创新，现在的创新真正是需要很深入地分析后得到的创新，这样才有更大的增值空间。

真正的大数据时代，需要满足“举重若轻”和“行云流水”两个条件：既使研发人员能够像处理小数据一样处理大数据，又能让数据发挥出巨大的价值——譬如用智能电表数据估算房屋空置率，用淘宝销售数据估计物价指数……所以“大数据”数据量大、种类繁多、价值密度低、处理速度快的特点对存储能力、计算能力、数据库设计和算法设计等等都提出了重大挑战。从这一点来说，所有目前还只是站在大数据时代的门口。

回顾历史，历次工业达到的高度和影响，取决于能源、材料和先进的工艺技术。对于大数据时代的变革而言，能源就是计算，材料就是数据，新工艺技术就是聪明的大脑。

可以设想，在大数据时代，计算将像电力一样成为自由流动并被销售的能源，今天我们为5度电付费，明天我们会为来自云基地的“10度”计算付费。而正在探讨并着手试点在干冷的西北部放置大量计算节点，通过“西云东送”的形式解决全国部分数据存储和粗加工的计算工作。由于干冷的环境可以降低服务器维护成本，这样的布局可以使单位计算成本明显低于世界平均水平，同时深刻改变西北部广袤区域的地缘经济。

其次，对数据这种重要原材料，企业和ZF都应该有目的地收集存储，并通过加工提高其品质和价值密度，而建立从企业到市、省、的战略数据中心，可以帮助我们丰富材料和提高材料的品质。在这方面，一些知名企业已经行动起来，并于2012年底在中关村成立大数据产业联盟，共同探索在企业层面流通、共享数据的可能机制及监管措施。

最后，产业资本向大数据倾斜，才能推动更多聪明的头脑汇集一起进行创新、创业。虽然美国在全球发起首个1亿美元的大数据专门基金，但也并未落后，中关村去年12月13日就已经发布了云天使基金、中云融汇基金、大数据实验室孵化基金等三只大数据产业投资基金。

因此，在这场呼之欲来的产业中，并没有落在世界的后面。事实上，全世界都还没有准备好迎接这场，尚不了解数据的类别、品质和价值如何界定，也不知道数据的隐私、安全和版权如何保障，没有建立良好的数据产业生态环境，也没有针对大数据的教育和训练。这种不清晰给了我们更多的机会，而独特的体制允许我们在世界其他不可能想象的尺度上“办大事，办好事”。ZF、企业界、学术界、投资界和媒体需要齐心协力推动这次可能深刻改变我们社会和经济的变革。

企业如何布局大数据

对于普通企业要通过修炼成为大数据企业，关键要做好7个步骤：

第一步是要实现数据化。企业要为此做好计划，到底需要保存什么样的数据，以人为中心的数据还是以产品为中心，还是更关注企业运营，需要做好这样的计划，然后再将企业生产经营中的数据保存下来，即便是现在看来没什么用的数据，未来也可能产生巨大的价值。比如说像售楼处、体验店客户的来访数据，就有必要完整的记录下来。包括怎么过来的，一个人来还是几个人，有老人和小孩吗，穿什么样的衣服等等，还有客户的情绪，看了什么，问了什么问题，最后买了什么东西，都是非常重要的数据。另外，企业内部人力资源的各个方面也都可以记录下来，这些可以进行挖掘和分析的数据。他举例说，长虹公司在自己的生产线设置了很多传感器，监测温度、湿度、震动、噪音、颗粒等等因素，希望了解到生产过程中哪些因素会对员工产生明显影响。他们此前都认为温度和颗粒可能对于员工操作和产品质量影响最大，但是事实上最终数据分析的结果，温度是没有什么影响的，恒温的控制对于生产效率和合格率的贡献并不像想象中那么大，反而是噪音对于员工情绪以及生产的影响非常重要。要成为大数据企业，第一步企必须要实现数据化。

第二步，企业要建设自己的大数据管理与应用平台。对于很多企业，做大数据并不是意味着要自己去建设数据中心。随着云计算和云数据中心出现，使用外部数据中心的成本已经非常低了，数据存储的费用也是在成倍的下降。但是，企业要做大数据，必须要在IT基础设施方面具有比较好的数据处架构，要用大一些工具比如数据分布式存储、Hadoop等等。很关键的企业不仅要具备一个数据中心的硬件，还要考虑和企业业务方向结合，不仅就是包括了数据的采集、数据库架构，向上的分析模块，再往上的API数据出口，以及横向的一些业务模块和出口这些东西。要做成企业的大数据管理应用平台，我们强调一定要从企业的业务出发，量体裁衣，企业首先必须要搞清楚自己的业务形态是什么。

第三步，企业要自己培养一些大数据理念，或者是小数据挖掘的团队。做大数据，企业的规模不一样，要求也不一样。如果企业规模足够大，比如说是电信运营商或者电力、银行这样的行业，可能会形成一个大数据的团队。如果不是，比如说就是简单的服务企业，那么形成理念就可以了。现在我们认为比较好的数据科学家，也不是说就是特别擅长或适应网络，这样的人不重要了，重要的是要有武器，什么样的问题来了知道怎么解决。关键我们认识是要培养四种理念：(1)除了结构化数据以外还有文本、音频、图像、遥感、网络、行为轨迹、时间数据，这些数据怎么处理，它存在的大挑战是什么。(2)一定要懂预测，因为绝大部分的大数据应用回到预测中，预测里面很多方法都是基准学习的，而基准学习目前最火的方向是集群学习。(3)要走分布式存储计算，这绝对不是说我知道给Hadoop 、Mapreduce、Hbase就够了，关键问题是首先要知道怎么样去搭一个混合式的，你的数据来了，我到底是应该牺牲我的一致性还是牺牲操作性，大概的成本多少，哪些数据挖掘的重要算法我要把他Hadoop、Mapreduce实现，哪些算法要通过SPTA，可变逻辑治理是在硬件里面，从而替代CPU、GPU。(4)需要整个数据向外的发展，知道哪些数据可能在外部产生什么样的重要价值，或者外部的数据能够在你的企业产生什么样的重要价值。企业应该培养出这四个能力，建立起企业数据挖掘的人才团队。

第四步，企业一定要做好自己的外部数据储备。我们都说“书到用时方恨少”，很多的企业，比如说像服装销售这样的传统行业，我要进的货在淘宝、天猫上卖的怎么样?在淘宝、天猫哪一个店铺怎么样?它的竞争品牌是什么样售价，怎么样销售的?对于这样一些数据，如果到需要的时候才去找，往往都来不及了。同样的道理。比如银行给中小企业发放贷款的时候，希望了解到它的用水、用电、生产、交通数据，例如通过摄像头就能知道这个企业到底有多少车运行，这些数据可能对于中小企业发放贷款决策都很重要。但是当你要发贷款的时候，再去问已经没有机会了，或者说成本太高了。我们建议，企业应该学会通过公共渠道或者数据交换的方法，根据自己的业务需求来量身定做自己的外部数据和战略数据。

第五步，大企业一定要有数据侦测的能力，需要有创新思维的人随时思考这些问题，比如企业占有的数据到底在外部能够产生什么样大的作用。就像我们经常拿雅昌艺术中心的例子，它存了很多艺术品的数据，所以最后它可以发布艺术指数。同样电网也发布两个指数，一个叫重工业用电指数，一个叫轻工业用电指数。淘宝网有它的CPI指数，还有很多企业的一些数据，实际上都可以发挥想象不到的价值。

第六步，一个大数据企业包括未来现代化企业，一定要有开放共享的态度。一方面需要企业把自己的很多问题社会化，另一方面企业要尽量去通过一些平等办法，通过数据交换的方式互相共享形成数据化。

第七步，企业还要做好数据方面的战略投资。我认为有三种比较先进的模式。一种模式叫做产业链布局，比如说海尔、长虹可以投物联网，对物联网企业创新进行投入。比如说中信集团可以关注医疗，在这个方面寻找相关的数据应用。第二个方面就是技术，你要知道哪些是硬技术创新，特别是在基础术设施层面的，比如加速存储，云计算的一些技术，比如数据挖掘，垂直应用分析，这个方面集中了很多创新也可以形成很大的规模。第三种模式是数据集方面的投资，我们知道阿里巴巴投资高德是为了数据，它投资新浪微博不仅是要投钱还要花钱买数据，所有这一切本质还是想把数据流动起来做更大的事情。这种投资就是集成数据，强调数据流动性。这些投资里面有几点是需要注意的，一是要去关注企业的数据价值，其次要关注早期的投资，去长期指引而不是短期追逐回报率，最后还要多关注传统行业。

大数据的本质不在于数据量有多少，也不在于是否是异构的数据，而是在于数据是关联的，整体的数据可以流动起来。跨领域关联，通过一加一产生远大于二的价值才是大数据的精髓。【完】