首页 > 大数据 > 正文

大数据发展存在制约因素 打破瓶颈势在必行

2013-11-14 14:36:21  来源:企业网

摘要:随着大数据的发展,大数据价值已经在各个行业凸显,大数据在带来机遇的同时,也带来了不可忽视的一系列挑战。
关键词: 大数据 存储

    随着大数据的发展,大数据价值已经在各个行业凸显,大数据在带来机遇的同时,也带来了不可忽视的一系列挑战。


    “存不下”和“查不快”,是我们面临的两大难题。现在数据源源不断地产生,除非增加存储设备,但如此一来势必会增加存储成本。目前,街头摄像头拍摄的视频数据,通常只会存一段时间,有的保存三个月,有的保存一个月,就被覆盖掉,为什么会这样?就是因为存不起,费用太高。提高视频的压缩效率是解决存储问题的途径之一,目前科研人员正在从事第三代编码技术的研究,以减少空间占用。


    在数据处理上,由于大数据中大部分都是非结构化的数据,现有的软件和工具主要适用于以结构化数据为主的传统数据,要想及时捕捉、存储、聚合和管理这些大数据,以及对数据进行深度分析和挖掘,需要新的技术和能力。而我国数据存储、处理技术基础薄弱,总体上以跟随为主,难以满足大数据大规模应用的需求。


    此外,掌握非结构化数据或流数据的分析技能,对大多数企业来说是一个持续的挑战。在这些领域中,尽管硬件和软件已经成熟,但技能仍然缺乏。在美国,对高技能数据分析人才的需求,可能超出目前预测供应量的50%至60%。到2018年,美国需要新增多达14万至19万名专家。人才紧缺的状况如果不解决将严重影响大数据应用。


    “大数据”对个人信息获取渠道拓宽的需求引发了另一个重要问题:隐私和便利性之间的冲突。一方面,大数据需要共享、数据开放、平台利用,而目前我国一些部门和机构拥有大量数据但受行政垄断和商业利益所限,数据开放程度也较低,有些部门把一些数据当成自己的,放那里既不使用,也不提供给研究者。专家指出,这是我国大数据研究的软肋和需要解决的大问题。


    另一方面,消费者在享受大数据带来好处的同时,个人购买偏好、健康和财务情况的海量数据被收集,对隐私的担忧也在增大。从纯技术角度来说,美国的“棱镜”项目是一个典型的通过分析海量通讯数据获取安全情报的大数据案例,但严重侵犯了个人隐私。


    评论:


    大数据发展中面临的瓶颈和挑战是很常见的,也是国内外大数据发展当中都面临的问题,只是我国在某些方面表现得更为突出。因此,作为大数据后起之秀的发展国家,我们应该下定决心迎头赶上,在彻底解决这些问题之后,释放大数据发展空间。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:chenjian

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。