2009-03-25 08:51:23 来源:万方数据
1 数据仓库技术
1.1 数据仓库产生背景
应用和技术的发展是相互作用的,一方面,现代社会的广泛电子化、数字化提供了前所未有的、有待加工和处理的原始数据。就一个企业而占,这些数据量大约五年就可以增加一倍,另外,数据的形式也突破了传统的数字和符号,包括原始商业文档、多种图形、图像数据等,故许多企业、部门并不是缺少数据,而是常常被过分重复和不一致的数据所困扰,从而越来越难以有效管理和存取这些数据,使之用于决策过程,这种局面自然导致一个强烈的要求,要求有一种系统能存取这些数据,并将它转换成一种可信赖的、有用的信息。另一方面,现代企业经常面临各种挑战,如何最大限度的挖掘各种有用信息,使企业在激烈的市场竞争中立于不败之地,并获得最大的商业利润,也为计算机信息处理技术提出了新的要求。
由此导致了数据仓库技术的提出。数据仓库是计算机应用领域里的一个崭新方向,己成为90年代信息系统体系结构新的技术焦点,它是来自多个数据源的数据拷贝和集成,从历史的角度来组织和存储数据,同时保证关键任务数据的完整性和安全性,为企业发展提供有效的技术支持。
1.2 数据仓库的基本概念
1998年刚刚发展起来的数据仓库(Data Warehouse)技术的概念由美国着名工程学家W.H.lnmon博士于90年代在《建立数据仓库》一防中提出:“数据仓库是一个面向主题的、集成的、包含历史数据的数据集合,它用于支持经营管理中的决策制定过程。”
数据仓库与传统的数据库系统相比有着本质的区别,数据库是一种通用平台,建立于严格的数学模刑之上,用来管理企业数据,进行事务处理,完成相关业务;而数据仓库没有严格的数据理沦,更偏向工程,它不是花钱就可购买的成品,而是企业一个日积月累的建立过程。它的应用对象是不同层次的管理者,它的数据源是多种数据源,库中数据无须修改删除,卞要是大规模查询和分析。数据仓库是来自多个源的数据的存储库,它可通过Internet将不同的数据库连接起来,并将数据全部或部分复制到一个数据存储中心。数据仓库倾向于一个逻辑的概念,它建立在一定数量的数据库之上,这些数据库在物理上是可以分开的,甚至可以属于不同的国家。数据仓库通过Internet扫破地域界限,将它们合成一个逻辑整体,把一个海量的数据库展现在用户面前。
1.3 数据仓库基本体系结构
为了能够将已有的数据源提取出来,并组织成用于决策分析所需的综合数据的形式,一个数据仓库的基本体系结构中应有以卜几个基本组成部分:
(1)数据源。指为数据仓库提供最底层数据的运做数据库系统及外部数据。
(2)监视器。负责感知数据源发生的变化,并按数据仓库的需求提取数据。
(3)集成器。将从运做数据库中提取的数据经过转换、计算、综合等操作,井集成到数据仓库中。
(4)数据仓库。存储己经按企业级视图转换的数据,供分析处理用。根据不同的分析要求,数据按不同的综合程度存储。数据仓库中还应存储元数据,其中记录了数据的结构和数据仓库的任务变化,以支持数据仓库的开发和使用。
(5)客户应用。提供用户对数据仓库中的数据进行访问查询,并以直观的方法表示分析结果的工具。
图1是斯扣福大学“WHPS”课题组提出的一个基本的数据仓库模型。
图1 数据仓库基本结构
2 基于数据仓库的电信事业决策支持系统设计
2.1 系统体系结构
在系统日常运做过程中积累了大量的计费系统数据和其它的一些文本数据,数据仓库首先从这些数据源中抽取相关的数据,进行数据集成、转换和综合,将数据重新组合成面向全局的数据视图,为DSS提供数据存储和组织的基础,解决了以往DSS中的数据不一致的问题。企业数据仓库包括大量的业务处理系统的操作细节数据和其它的综合数据,而在企业管理分析与决策中,人们所关心的大多是综合性数据,需要从综合性的、总的范围来观察数据。为此我们通过OLAP数据仓库使用技术,可以把数据在一定层次上聚集,方便用户的J陕速查询,以及从多维的角度对数据进行切片、切块、旋转等操作,进一步增加用户对数据的理解。此外,OLAP还可用于企业的报表分析,在日常的企业管理过程中,需要大量的报表,借助于OLAP工具可以便利的生成各种报表。
图2 系统体系结构图
数据挖掘可以在企业数据仓库上直接进行,数据仓库为数据挖掘提供了集成的、一致的、经过清理的数据,使数据挖掘免除了繁杂的数据准各过程。数据挖掘也可在OLAP服务器平台上进行。在数据挖掘过程中,常常需要探测式的数据分析,从各种数据库选择相关数据,对各种数据选择不同的粒度,以不同的形式提供知识和结果,而基于数据仓库的OLAP完全可以为数据挖掘提供有关的数据操作支持。数据挖掘所得到的知识经决策者的审核后决定是否用于指导企业的决策。
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。