首页 > 大数据 > 正文

数据传输创新满足大数据分析可扩展和弹性

2012-11-16 16:09:35  来源:CIO时代网

摘要:如果你的数据仓库每个月都进行更新,那么批量ETL流程可以满足你的需求。但现在适时分析无处不在,批量化的方式对目前和未来的数据集成和传输需求就无法满足了。
关键词: 数据仓库 数据传输

    如果你的数据仓库每个月都进行更新,那么批量ETL流程可以满足你的需求。但现在适时分析无处不在,批量化的方式对目前和未来的数据集成和传输需求就无法满足了。


    更强大的存储性能和更给力的计算机可生成、发布、捕捉和存储更多的数据用以分析。将那么多的数据注入分析环境中,会让运营环境拥有更多的报表和BI信息,也会让业务部门随之采取行动。数据科学家想要将这些数据流与多年来收集和归档的大量数据进行整合,以支持深度分析应用。


    就像高速公路容纳量的增大促生了机动车的繁荣,BI分析平台计算能力与速度的提升也促进了企业中可行动知识的传播。除此之外,业务用户对更加快速获取信息和进行决策的需求使得适时智能性能按指数增长。然而,许多企业在技术架构信息延迟方面都束手无策。怎样才能突破这一瓶颈呢?


    数据传输创新法


    解决数据延迟的问题至关重要,因为只有这样才能确保大数据分析应用和传统BI系统维持在巅峰状态。既然如此,我们就来看看需要一些什么样的工具和策略。以下三点为基本目标:


    ●消除数据延迟的根本原因,扩展数据传输,以达到平台速度要求


    ●确保来自内部外部数据流的及时性和一致性


    ●提供各种数据源的广泛获取能力,包括结构化数据和非结构化数据


    解决数据获取问题使用的方法可能需要与传统的ETL流程有所不同。比如,许多企业都在已经存在20多年的数据复制技术上重新找到价值。高性能的数据复制加快了数据传输的速度,而像变化数据捕捉(change data capture)这样的技术可帮助企业系统数据及时性和一致性的确立。数据联邦和数据虚拟化软件中使用的缓存技术不仅加速了数据传输,还给孤岛系统中结构化和语义变量带来了无缝透明性。


    如果把所有这些方法结合起来使用,就能解决数据获取延迟问题;即便不能解决全部问题,也能收到不小的成效。这样一来,除去大数据分析的可扩展和弹性高性能计算的终极障碍也就有望了。
 


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。