2013-07-08 16:27:36 来源:CIO时代网
2013年7月6日,首届智慧城市标准与应用研讨会暨第六届中国SOA标准化研讨会在扬州会议中心隆重举行。中国电子技术标准化研究院高级工程师杨瑛为大家带来了题为《智慧城市中的大数据表示及展现》的主题演讲,以下为演讲实录:
大家下午好,刚才蔡老师说了大数据的阴霾,今天大家都在看大数据给我们带来的机会、机遇,还有带来未来的福祉,我觉得任何一个事情都是有两面性的,我们还是回归一个客观理性的角度看待这个大数据。下面我给大家介绍一下大数据的表示和标准化的一些需求。大数据在智慧城市中和智慧城市的互动关系。
我给大家汇报分为三个部分,第一部分我想跟大家分享一下在智慧城市建设中,我们数据究竟是处于一个什么样的位置,我们数据在共享和交换平台,包括在资源整合、业务协同的大的城市建设的环境之下,我们数据和服务融合的趋势,第二部分我给大家分享一下,从数据表示和展现的角度看我们在城市建设中大数据的应用实践。第三部分是跟大家分享一下现在无论是国内还是国际上大数据的政策和标准化的工作方面的探索。
首先,我们院在昨天召开的2013年的新一代信息技术标准化的高峰论坛上,我们发布了一个智慧城市标准化的白皮书,在这个白皮书中,我们对于智慧城市的参考技术架构是有一个研究成果,这个是我们这个研究成果的具体参考技术模型,从这里可以看到,很大一块是数据及服务的支撑层,这个层体现数据的融合和展现,包括数据的展示。这里首先讲数据的融合,我们在城市这一级的信息化建设中,在物联网的发展和相应的一些数据采集的自动化手段的提升,以及网络的环境下,这种信息的多形式数据的产生,我们对数据的会聚和存储有很多的需求,对这种海量数据的处理和分析,我们智慧城市建设有一个面临需要解决的问题。针对我们数据系统,对于他提出了一个高效的会聚和存储的功能性的要求,对于数据还有一个融合的处理,就是对于我们这种无论是信息系统还是从传感器,还是从数据库,还是从每个人的智能终端产生的数据,对于这种多信息源的数据信息的采集,包括他的传输、综合、过滤和合成,也是有一个很高的要求,需要我们协调这种多信息源、多平台、多业务系统的数据,对于这种数据处理系统是需要他对于不同的数据处理系统的单元,包括我们在城市数据汇集中心保持互联互通。再有一个数据融合,我们需要一些智能挖掘和分析的要求,通过自动分析和汇总发现数据的趋势。再一块,我们在数据展现和表示的过程中,我们需要有虚拟的数据系统,我们需要对主题完整数据集合的虚拟化数字映象。相对于还有一块是服务融合,这个服务融合这块,其实是起到了一个承上启下的作用,对下层的数据和系统资源是要统一的服务化封装处理和管理。
第二块给大家讲一下,从数据表示的角度看智慧城市的应用和智慧城市的建设。我们先介绍一下怎么理解这个智慧,我们可能大家对于数据的认识是使用约定俗成的关健词对客观事物的数量、属性、位置及其相相互关系进行抽象的表示,到数据这块我们增加了很多的含义,包括时效性、含义、逻辑,经过加工处理、对决策有价值的数据流。从信息往上我们可以看到是一个知识的理解和知识的表示,他是沉淀并与已有人类知识库进行结构化的有价值信息。从智慧的角度怎么看我们的数据、信息和知识呢,智慧是从人类基于已有的知识,针对物质世界运动过程中产生的问题,根据我们获得的信息进行分析、比对,找出解决方案,这个里面可以看到,智慧是一种能力,是一种将信息有价值部分挖掘并成为知识结构的能力,这块我们想表达的一个意思是,我们在智慧城市建设中,其实我们对于数据的大量挖掘分析和处理,其实我们还是要解决智慧城市应用过程中城市治理、管理,包括我们怎么提高人们福祉能力的建设。这个是我们最终的一个应用需求。如果跳出技术来看大数据对城市建设的影响,其实是多方位的,首先会催生行业的融合,对以前不相关的信息,我们认为没有关系的一些事件中,通过大数据的分析,大数据的理念,大数据的工具,我们其实是可以建立一种相通的渠道,基于大数据的发展,我们可能会产生很多新的生产模式、商业模式和管理模式,这种大数据对于整个模式的影响其实对于城市的建设和整个社会的发展是会有非常非常大的变革和影响。再有一个,在这种大数据发挥越来越大的过程,我们发现网络成为我们生活的必需品,现在在城市建设中,我们是一张网,一张图,我们现在来看大数据,这种数据和网络的信息其实也成了我们的必需品,网络信息和数据是我们生活组织形态必须面对的和使用的,或者你自然而然使用的必需的要素。从商务的角度来看,网上购物、社交网站、微信微博都是我们在学习生活中使用的,或者需要在这样的环境下完成我们一些行为的。对于政府部门来讲,对电子政务来讲,包括政府网站和网上办事大厅,现在已经成为虚拟政府的一个组成部分,已经成为一个平台和窗口。在这种平台和窗口产生的大量数据,已经成为政府应对突发事件和管理的关键依据。还有一个层面是更宏观一点的,后面我会给大家介绍,其实现在很多政府部门在推数据公开,他通过数据公开机制的设计和数据公开技术手段的采用,他是在推动整个社会业务的协同,这个地方为什么说在大数据的环境下使得这个成为一个可能,成为一个发展的趋势呢?就是因为其实在数据公开和大数据的环境下,他数据有几个特点,就像蔡老师讲的,大家讲大数据的时候提了一些特点,你从社会科学的角度看大数据,其实大数据是包含了三个特点,一个是有包容性,他通过数据的包容性使得政府部门之间的边界,政府和市民之间的边界变得不是那么的远,变得越来越模糊,变得越来越近了,还有客观性,数据推动的决策,使得我们的管理决策更精准科学。在大数据的环境之下,可能我们针对某一些具体的业务,或者一些具体的事物就不是一个决策支持,而是一种决策了。还有一块是大数据下的社会学的特点,就是开放性,在数据的开放性环境下,以前信息化建设中,无论是城市还是中央部门,还是在企业,我们做ERP当中的信息公开,还有共享,还有信息孤岛的难题,其实是给我们带来了一个解决的机遇,就是我们在整个大数据的环境下,大数据的理念和战略的部署之下,我们其实是有了更多的机会。
刚才给大家讲了大数据技术层面以外对我们产生的影响,其实在智慧城市的建设中,我们可以看到,大数据的这种应用和支持是在三个方面可以充分体现,包括我们对政府的支持,对经济的支持,和对于民生的支持。这是一个针对美国经济的数据统计图,这里讲的是大数据的价值潜力,从这个图里面可以看到,对于我们整个价值的体现。我想跟大家分享大数据表示和展示的应用,这里比较典型的是社交图谱的应用,通过图上的点连起来,把人建立一种关系,用线连起来以后,我们可以看到,这个线多了以后,这个关系形成了一个数据结构,这个数据结构就为我们的决策和应用提供了事实的数据支持。还有一个典型应用是在气象预测这块。
[page] 刚才介绍了很多国外的成熟应用,其实在国内也在数据的表示和展现这块有了一些比较好的雏形,所谓一张图、一张网,很多城市,包括北京等很多地区,把很多数据在这个图上做了一个展现,这个图可以让我们看到很多政府的行为、个人的行为,包括城市管理的一些行为,在这个图中包括了很多种数据,现在可能比较多的是包括了几大基础库的数据,从政府的角度,可能是包括了一些业务审批和共享的数据,从数据的类型来看,其实包括了空间的数据、文档数据和矢量数据和图片的数据,有这么多的信息源,在这个图上都可以做一个展现,这个展现就是一个应用,就是一种城市可视化管理的推进和促动。还有一张网,城市建设中与我们息息相关的,我们用气用电,还有用水,这是我们所谓的城市生命线中地下管网最核心的应用,现在可以看到,大家也可以从很多新闻中看到,其实现在很多城市在管网建设和应对自然灾害的能力有很大的缺陷,借助于大数据的技术,我们可以搭建一些管网运行模拟和安全分析的系统,而且现在在一些城市中也已经开始推动这方面的应用了,他们在整个网络的环境下,管网的环境下也有了大数据的呈现,和对管网实时动态的展现和分析。他对有可能存在的隐患也是有比较好的应用。
这里还要介绍一下的是数据的开放计划,美国是第一个提出数据开放计划的,这个开放计划是什么模式呢?他是建立了一个公共数据共享网站,他将可以公开的数据集转化为了一个可编程的服务,我们公民或者机构可以通过这种客户端集成这种服务,我们通过这种服务就可以组成有价值的应用,他最典型的一个应用就是对火灾的应用,他通过这个人口普查的数据服务,他预测火灾蔓延的方向,他分析和预测判断,他会影响对人口和财产的信息,他通过可视化变态变化的数据集进行分析,这个分析不是政府统一做的,他这个数据是可以个人和机构通过已有的开放数据进行分析和判断的。其实在城市建设中,尤其在大数据发展进程中,不仅仅是技术的突破,还有一块是应用模式的突破和对数据的服务模式的突破。我个人觉得美国政府的数据开放计划,还有他这个模式是给我们一个很好的借鉴。我知道很多城市现在已经开始这方面的一些探索,但是他因为涉及国家安全、数据敏感性、个人隐私的保护,这方面我们国家在法律法规上还相对比较滞后,所以在这块他的进展处于初级阶段,等到一定时候,这个事情应该是一个未来的趋势。
下面这个图是想跟大家分享一下,从整个数据的角度,数据生命周期的角度,我们可以看到,整个大数据是有一个这么一个过程和流程的,在每一个流程环节中,有不同的需求和不同的标准化需求,还有不同的技术发展的需求,还有对产业、政策的需求的。
下面跟大家分享一下大数据的政策和标准化方面的一些情况。从国内外的情况来看,其实对于大数据的发展和大数据的战略,还有大数据的实践来看,大家还是处于一个起步和进入快速发展的阶段,国内研究上海在大数据方面有了一些部署,国内最早提出大数据的省份应该是广东省,他在他的信息化发展规划纲要中就提到了大数据和商业智能的示范应用。其实在12年,在信息化规划纲要研制出台之前,他们已经推行广东省大数据战略实施方案和大数据相应的工程。有些重点,他要在政府部门间开展数据开放试点,通过网站向社会开放,可供下载和分析数据,进一步推动政府公开和大数据的应用。这是广东在这一块的部署。陕西的部署是围绕他这个平台建设和政府公共平台的服务体系建设,因为陕西是一个顶层设计和集中部署的信息化环境,他现在各级政府和部门的服务已经不需要再建设网络机房,他已经有一个集中的数据中心和平台。所以他们提出了一个大数据战略,他把这个战略分为了三个阶段,包括了搭建公共平台,提供高性能计算的大数据计算平台和环境。建设期是希望通过人口、林业、社情民意调查分析、社会管理与服务金融等领域对大数据处理需求。承接其他数据中心或灾备中心落户,形成大数据产业基地,将全国人口信息处理与备份中心落户西咸新区。到2017年成长期。在大数据的战略和大数据的部署上,包括在山东、深圳,包括刚才蔡老师介绍的上海,都有大数据的产业联盟,他们都是面向重点领域提出大数据要解决的城市建设的问题。
下面我给大家介绍一下对于大数据现在标准化方面的情况。现在在大数据的标准化方面,在国际上,包括国内,我们也是已经开展了一些相应的初步研究,一个比较突出的是在JTC1数据管理和交换的分技术委员会下,明确提出有一个研究组,他致力于对大数据引发的下一代分析技术的研究,他希望通过相关技术的研究,对于海量数据的出现,提供存储和分析的方法,希望将数据存储和原技术应用到下一代大数据应用领域中。还有一个研究组是研究事实基础模型的元模型,他是一个建模的研究,希望通过建模支持下一代分析。还有跟大数据标准化相关的,包括云计算的,还有SOA这块的一些标准化的东西。SC27关注的是安全保护、隐私保护,大数据环境下的安全如何保护,他解决大数据应用的问题。SC7现在关注云服务中大数据服务的标准化工作,这些都是跟大数据标准化相关的标准化组织在推动的工作。在国际上,对于大数据的研究其实是处于起步阶段,刚才给大家介绍了SC32,他有这么一个研究组,他今年的韩国全会上提交了一个正式的下一代分析和大数据的研究报告,我们中国也是作为联合的编写者参与了提案和报告的编写,他下一步希望能够开展大数据的标准化潜在需求的分析和已有标准的梳理,因为他涉及到元数据、数据注册和已有标准的梳理和分析,他要在已有标准的梳理和分析基础上,包括现在的应用需求的分析基础之上,提出我们未来标准化的一些方向和需求。另外一块,比较明确的开展大数据概念框架,包括解决方案的研究机构是加州大学的圣地亚哥,大规模数据系统研究中心,他们现在关注于解决方案的研究和大数据基准系列的研讨会,他们在今年就大数据已经开了五次的会议。另外一块是云安全联盟,12年成立了大数据的工作组,他对大数据的安全和隐私开展了一些重点研究。
我们国内其实在前一阶段针对大数据的应用、技术、产业和标准化做了相对比较集中和深入的研究,我们其实是提出了大数据的技术参考模型,这里围绕大数据整个寿命周期来设计和展现,这里可以看到,在这里面,除了数据的展现、处理和应用层以外,还包括了数据存储和整理层。结合现在智慧城市建设和SOA的技术发展,其实我们的数据服务,大家可以看到,是在纵向这块有一个单独的模块,怎么说呢,就是说这个数据服务已经渗透到了数据的存储、整理,包括数据应用和数据处理的各个层面,所以SOA的技术和数据服务的技术,未来在大数据的环境下会有很大的变化,会有很多标准化的需求。针对这个技术参考模型,从数据表示和展现的角度,以及数据应用的角度,我们对数据的标准化的实施思路也是有这么一个标准思路,我们针对这种不同的数据源数据要进行采集,针对他采集以后,我们针对不同格式和不同数据源的数据,要对他的特征进行一种提取,对这种特征的提取最终是要通过我们基于元数据的语义进行一个描述,这个是希望在同一语义的环境描述之下,我们可以对各个行业各个领域的数据进行一个数据的建模,这样才可以实现和帮助支持现在大数据的分析和处理。只有这样大家才能在一个统一的互通的语义环境下看到建立数据的关系和模型。
以上我的介绍,希望大家对我们大数据研究和智慧城市与大数据促进提出更多好的建议。
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。