【北大CIO班十周年】鲁四海：政府大数据平台设计与建设

2015-12-07 14:41:08 来源：CIO时代网抢沙发

2015-12-07 14:41:08 来源：CIO时代网

摘要：2015年11月28-29日，北大CIO班十周年年会暨首届中国行业互联网大会在北京大学与宽沟会议中心隆重举行。中国新一代IT产业推进联盟技术分委会秘书长鲁四海先生就主题为“政府大数据平台设计与建设”发表演讲。
关键词：北大CIO班

还有，既然我们讲到数据应该从应用来到应用当中去。我们觉得用户体验应该是最考虑的。不能说你拼装一个服务之后给到使用者，用着用着没数据了或者数据质量不敢保证，导致应用体验不好，可能就用着用着就没人用了。既然这么多数据我们通过一个技术平台能够把它集中起来，那么剩下的一件事就应该是挖掘里面更多的价值。因为原来我们没有做数据的整合，不具备挖掘的条件，现在有了，那我们应该想更多办法提取其中的价值，而不是仅仅做成一个枢纽，让数据从中间过就完了。数据的共享其实很简单，只是很初级的一步，那么后面还有数据集中起来之后它所连接起来的价值和多维度挖掘价值，是非常非常大。

　　这个是我们研究之后的一个小成果。如果要做大数据开放，它应该具有这几部分的功能。首先需要有一个分享平台。这个分享平台可以帮助我们外部数据进行整合。不仅要把平台中心，这时候它自己会有一些数据，同时要把部门数据、互联网数据、物联网数据进行采集，最后形成一个大数据的池子。在这里面有一个主题库，它是一个虚拟的，它是什么呢？提供的一个标准，出来一些规范，你按照我的数据服务的接口去调的时候，你能够感受到有这样一个主题库存在。实际上它是物理场合存在的。就像云计算里面讲到的，用户用的时候感觉是一台服务器。它使用的CPU、硬盘等是我从物理机上面划分的，它不是物理上真实存在的。

　　管理这块主要是这几个方向：数据的分析、整合，因为单独一个数据分析是没有价值的，一定是多个维度的结合。还有就是数据的标准化，因为只有标准化之后，数据服务才能够被开发、被应用起来。在这个过程当中也会有一个动态的源数据管理，带有数据指标体系。因为我们强调的是这个数据是开放的，它会以服务的方式存在，所以它会需要有个非常重要的质量管理，整个生命周期的管理。就是我们需要去交代、管理清楚，这个数据什么时间是存在的、它什么时间会消失掉。用户在使用过程当中，如果发现这个数据失效了，这是不合适的。

　　数据质量管理如果过关之后就会往两个方向走了，一个是政府这块，各个部门的应用，还有一个部门应用的数据平台；再有就是向社会开放。前面讲到，如果向社会开放之后会触发很多的商业价值，会让社会良性的循环。分这几个方面，数据源、数据采集转换、存储、分析，模型应用服务。数据源我们要去处理的，很多的，现在用的比较多的是Hadoop。最上面是最终需要一个展现的。打个不恰当的比方，大数据有的是来自小河里面的水，有的是冰山的水，但是最终拿到用户那用的，能够被喝进去的是一杯茶或者是一瓶矿泉水。我们需要去加工和展现，最简单的呈现方式。

　　选型方面建议。三个标准。第一个要自主可控。因为这个平台是动态发展的，如果你不具备自主可控的可能性，那么后面的发展势必会受影响。第二是弹性扩展。第三是兼容事实标准。比如说像你采用分布式的，是不是考虑Hadoop。因为它某种意义上成为一个事实标准。如果你不考虑它，很大的一个问题就是人才。因为这块人才是最多的，自己选用一个标准，可能会面临人才的问题。因为你找不到能够去用这套的人。这个表是我们前段时间去做的一个对各个角度的大数据的服务做的梳理，这是形成的一个大数据服务的排名。分了几十个维度，如果感兴趣的话可以找我要。

　　把这套平台建完之后，最后它会形成这样的一个姿态。这边是有基础架构的工程师去获得你这个数据平台，然后在上面有数据应用团队使用着它，内部用户可以调用。我们还需要一个服务团队，服务团队干嘛呢？就是根据你的这些数据去设计相应的服务。这个是针对外部的客户或者是政府其他部门的。还有知识团队。这些数据理出来以后，开放服务形成了，那怎么去用它？也是需要有人去做这件事。再往下，大家提到说，政府大数据是一个新型的东西需要很多努力。那我们也做了一些尝试。

　　我们通过课程研发、用人单位整个形成一个闭环去培养实践的人才。这是联盟的一个重要的工作。再有，很多技术现在还处于新生的阶段，它需要去验证。所以我们联盟去搭建这样的实验室，去验证这样一些技术的融合性、兼容性是否可以。去做这样一些尝试。同时，昨天晚上大家也看到了，也有很多的示范工程在实践当中真正用起来，去验证这些方案、技术，去做一些尝试。

　　最后讲一下，我们联盟做什么事呢？两块：人才。培养，聚集行业的精英，探讨技术的应用落地。为大数据和云计算在国内的健康发展培养相应的人才。再一个就是我们通过咨询这块告诉大家怎么去用这个东西，我们做前瞻的研究之后做一些分享。另外，像大数据、云计算，很多都是一些新兴的公司，这是“弯道超车”的机率，所以这些是需要有一些资本的支持，这也是我们考虑的。下午会有这样一个说明会，欢迎大家参加。我的演讲就到这，谢谢各位！

第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：鲁四海

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。