1 大数据发展概述

　　当今是一个数据爆发增长的时代。移动互联网、移动终端和数据传感器的出现，使数据以超出人们想象的速度快速增长。据调查机构估测，数据数量一直在快速增加，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。据统计，2013年全球产生的数据达到3.5泽字节，到2020年产生的数量将增至44泽字节。

　　“大数据”一词来自于未来学家托夫勒于1980年所著的《第三次浪潮》。最早开始对大数据进行应用探索的是2005年雅虎公司的Hadoop项目。Hadoop其最初只是用来解决网页搜索问题的一个项目，后被Apache Software Foundation公司引入并成为开源应用。Hadoop是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。

　　世界上许多国家都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在国家层面进行战略部署，以迎接大数据技术革命正在带来的新的机遇和挑战。以美国为代表的发达国家在推进大数据上已经形成了从发展战略、法律框架到行动计划的完整布局。

　　2 全球各国大数据的发展现状

　　美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。

　　拥有世界第二多人口的印度，近两年也持续运用大数据，期许打造出一个更便利、更亲民的智慧城市。印度全国软件与服务企业协会(Nasscom)预计，印度大数据行业规模在三年内将快速增长，是当前规模的六倍，同时还是全球大数据行业平均增长速度的两倍。对于印度的整个IT行业来说，大数据时代的到来会创造更多更新的机遇。

　　英国政府2012年时计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面为大数据做好了准备。

　　法国政府在2013年投入近1150万欧元，用于7个大数据市场研发项目。目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。”法国政府在《数字化路线图》中列出了五项将大力支持的战略性高新技术，大数据就是其中一项。

　　日本在2012新一轮IT振兴计划中，将发展大数据作为国家战略层面提出，重点关注大数据应用技术，如社会化媒体等智能技术的开发、新医疗技术的开发、以及交通拥堵治理等公共领域的应用。

　　新加坡政府在大数据发展过程中充当了关键角色，抓住了大数据发展的五大关键要素：基础设施、产业链、人才、技术和立法，弥补了企业的短板。新加坡政府很早就提出支持新加坡企业采用大数据技术，利用大数据提升政府服务水平。

　　此外，澳大利亚、加拿大、新西兰、德国和印度等国也在大数据领域进行了研究部署，还纷纷推出本国的公共数据开放网站，以使更多的人可以使用大数据资源，并从中获得利益。目前，全球至少拥有大大小小的数据开放网站50余个。

　　2.1 欧盟大数据的发展

　　目前，欧盟及其成员国已经明确制定大数据发展战略，数据价值链不同阶段产生的价值将成为未来知识经济的核心，利用好数据可以为运输、健康或制造业等传统行业带来新的机遇。

　　欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素;资助“大数据”和“开放数据”领域的研究和创新活动;实施开放数据政策;促进公共资助科研实验成果和数据的使用及再利用。

　　(1)数据价值链战略计划

　　欧盟委员会正在研究制定数据价值链战略计划，以实现数据的最大价值，重点是通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。数据价值链的概念为数据的生命周期，从数据产生、验证以及进一步加工后，以新的创新产品和服务形式出现的利用和再利用。

　　数据价值链战略计划遵循的主要原则是：高质量数据的广泛获得性，包括公共资助数据

　　的免费获得;作为数字化单一市场一部分，欧盟内数据的自由流动;寻求个人潜在隐私问题与其数据再利用潜力之间的适当平衡，同时赋予公民以其希望形式使用自己数据的权利。

　　这一计划的重点是培育一个连贯的欧洲数据生态系统，促进围绕数据的研究和创新工作，采纳数据服务及产品，采取具体行动，改善数据价值提取的框架条件，包括基础能力、基础设备、标准以及有利的政策和法规环境。目前正在单一战略框架下制定一系列重点行动，解决数据价值链中与价值创造相关的大量交叉问题。

　　数据价值链战略计划包括开放数据、云计算、高性能计算和科学知识开放获取四大战略。

　　•数据开放战略

　　欧盟认为，为加强创新潜力，应尽可能的以最好的方式使用资源，这些创新资源就是数据，开放数据将成为新的就业和经济增长的重要工具。为了应对这一变革，2010年11月欧盟通信委员会向欧洲议会提交了“开放数据：创新、增长和透明治理的引擎”的报告，报告以开放数据为核心，制定了应对大数据挑战的战略。

　　•云计算战略

　　2012年9月，欧委会通过公布了“释放欧洲云计算服务潜力”战略，战略计划通过两年时间，把欧盟打造成云计算服务的强势集团，为2014-2020年期间的欧盟云起飞(夯实基础。欧盟云计算战略及三大关键行动分别为：规范和简化的云计算标准;云计算安全和公平的合同条款及条件;建设欧盟云计算伙伴关系，驱动创新和增长。其它的具体行动举措还包括：数据保护、网络安全、信任举措、云计算互操作性、宽带部署、在线服务、公共行业首先参与云计算和国际对话与合作等。目前欧盟已成立6个战略实施工作小组，具体涉及云标准协调、服务标准协议、认证计划、行为守则、专家研究小组和云伙伴关系。

　　•高性能计算战略

　　在欧盟第七框架计划和“地平线2020”计划下的研究和创新支持可扩展的高性能计算系统。小型“数据中心式开箱”可以单独部署或集中在嵌入式系统在汽车或电话交换机，或者可以在大规模地聚集成为一个云服务器——如处理单元(GPU)或者高性能计算(HPC)系统。

　　•科学知识开放获取

　　科学知识开放获取的目标是提高欧盟层面和成员国层面政府资助的科学研究的影响力，2012-2013年，欧盟委员会投入4500万欧元建设支持开放共享和科学信息长期保存的基础设施，并与各个相关利益团体就开放共享和数字信息保存工作进行对话，同时建议各成员国：制定本国的公共资助科研论文开放共享政策，探索科学数据开放共享和科学信息长期保存，支持相应的基础设施建设。2012年7月17日，欧盟委员会发布开放共享政策，宣布欧盟Horizon2020计划所资助科研论文全部实行开放共享。2013年12月25日，欧盟委员会宣布启动试点，开放公共资助研究数据，2014-2015年，参与开放研究数据试点的关键领域的项目将获得约30亿欧元的经费。

　　(2)资助“大数据”和“开放数据”领域的研究和创新活动

　　欧盟委员会在资助“大数据”和“开放数据”领域的研究和创新活动外，还启动“连接欧洲设施”(CEF)计划，采取权益和债务证券及补助相结合的形式促进数字基础设施的建设。在2014年1月的信息和网络日上，欧盟委员会确定了“地平线2020”连接欧洲设施计划的2014-2015年工作内容。

　　(3)实施开放数据政策

　　开放数据政策一方面制定公共信息再利用的法规和国家执行规则以及欧盟委员会自身数据再利用规则;另一方面支持公共部门信息开放活动，此外还搭建开放数据平台。

　　(4)促进公共资助科研实验成果和数据的使用及再利用

　　促进公共资助科研试验成果和数据的使用和再使用也称科学知识开放获取。