首页 > 大数据 > 正文

提升数据保护:Oracle数据仓库的实时数据采集

2012-09-13 11:23:48  来源:TechTarget中国

摘要:本文介绍了Oracle数据仓库的实时数据采集,整合平台是实时数据的基础,而跨产品兼容性也是它的核心功能之一。
关键词: 数据仓库

    在使用数据仓库软件时,最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常,极其耗费资源的提取流程必须在非工作时间进行,而且仅限于访问关键的源系统。


    低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时,如通过读取数据库事务日志,只会捕捉发生变化的数据,不会对源系统产生影响。因此,数据提取流程可以在任意时段全天候执行,即使用户在线也可以。


    当以实时方式提取数据时,虽然必须改变数据采集流程中各个元素支持实时数据的方式,但是这些数据可以带来不一般的业务价值。而且,这些数据必须得到有效的保护,同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。


    但是,在数据仓库中应用实时数据整合的技术也可以进一步保护数据。毕竟,实时移动数据的技术也可以实时操作数据,从而形成一个数据保护技术入口。但是,变化数据的速度和效率可能会受制于数据保护流程的延迟。


    这意味着,在转到整合数据仓库的主动数据采集模式时,首要考虑的问题之一是数据经过IT系统的流程和可能产生的延迟。换而言之,实时数据整合要求理解变化的数据,以及促进或妨碍这种变化的组件。


    显然,企业希望保护他们的数据。然而,随着数据容量需求的增长,存储技术也成为业务持续性依赖的重要业务资产。而且,随着实时分析成为业务流程的一部分,它也归入到业务持续性的范畴之中。实现数据安全性和持续性的最基本方法是硬件或软件复制,它会自动保存第二个关键数据副本。此外,自行创建或基于开源软件创建的备份方法也不存在。


    企业级数据管理应用主要涉及5个重要领域:灾难恢复、高可用性、备份、数据处理性能和更高级数据库移植。这促使IT不停地追寻先进技术,如实现数据整合及其相关基础架构元素。此外,这些战略投资能够提供符合预算的资源,在加快实时技术应用的同时,提高投资回报和修正实时数据整合项目的商业提案。


    然而,一定要将这些投入领域与实时数据整合系统的非现金元素相对应,这样有助于全面理解构成系统的组件,以及各种组织数据需求对这些组件的驱动作用。这些需求包括:


    数据容量(数据规模与更新数量)


    数据移动频率


    转换需求


    中断时间和业务持续性[page]
    这些因素决定了产品的选择,以建立一个实时数据集成的高级架构。但是,在加入数据采集技术之后,“实时”这个术语就附加了不一样的含义。有一些技术关注于商业智能(BI)的“适时”概念。这个术语表示最终用户的不同智能应用需求,而且它也体现了不同用例的不同需求。


    但是,对于运营性数据仓库而言,这项技术不应该依赖于适时模式,而应该交付真正的实时功能,然后让业务用户选择访问数据的正确时间(适时)。然而,有一些公司可能会发现适时BI概念的价值,这里涉及到一个问题:“企业应该在什么时候使用实时数据整合技术?”


    在现实中,许多企业都使用来自多个供应商的混合IT架构(通常源于企业的传统历史)。在选择一个实时数据整合技术时,它一定要能够方便整合各种数据库和应用平台的信息。这是取得成功的最关键因素。


    整合平台是实时数据的基础,而跨产品兼容性也是它的核心功能之一。但是,找到一个能够组合这些元素、支持实时处理、不增加使用难度的平台也是一种挑战。


    Oracle推出的这种平台产品是GoldenGate,它支持Oracle数据库和其他同行产品。目前还有一些其他的实时平台,它们都必须在一些考虑应用实时数据整合的特定场景中进行检测:


    高可用性。GoldenGate能够将应用程序临时数据自动生成一个在线远程副本。这样,您的业务应用程序就可以在灾难恢复过程中进行故障处理,切换到二级存储,从而减少停机时间。


    在线迁移。生产系统的升级、迁移或维护通常都会造成停机。在理想情况下,实时数据整合平台可以实现零停机迁移,所以新系统可以在不停机的前提下接收所有旧系统数据。


    异质系统的整合。您的应用程序主要依靠Oracle、Microsoft SQL Server、Sybase、DB2系统。实时数据整合平台可以将它们运行在同一个平台上,只需要最小的整合就可以实现数据共享。


    增长企业的兼并、收购和IT整合。在设计最终的统一架构之前,必须使用一种变化数据捕捉技术,快速整合来自各个分公司和部门的数据。(顺便提醒一下,我们都知道不存在所谓的“最终架构”.)


    查询卸载。在多个数据集市之间共享重复数据存在一个有意思的副作用,即改进OLTP性能和可用性。多个服务器并发处理查询,可以更快速生成报表,从而提高执行速度。


    Oracle客户还提供了其他加强实时数据整合流程的选择。如果源数据和副本数据都基于相同的Oracle版本和数据模型,那么非常适合使用诸如Oracle主动数据防护(Oracle Active Data Guard)的产品。同时,如果副本极为相似,那么也可以使用Oracle实时应用集群(Oracle Real Application Clusters),实现透明的应用故障恢复。最后,由于基础架构即服务(Infrastructure as a Service, IaaS)模型在价格和弹性方面具有很大的市场优势,所以您可以在一个远程云上保存关键业务数据的二级副本。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。