首页 > 大数据 > 正文

数据仓库建设的成功之道

2010-07-13 16:56:08  来源:CIO时代论坛

摘要: 随着数据的不断积累和增长,各个行业都在思考一个相同的问题,怎样把数据从成本转化为价值?怎样从庞大的数据集中分析出有用的信息来用于企业的市场经营和企业决策?
关键词: BI

    随着数据的不断积累和增长,各个行业都在思考一个相同的问题,怎样把数据从成本转化为价值?怎样从庞大的数据集中分析出有用的信息来用于企业的市场经营和企业决策?

    商业智能(Business Intelligence简称BI)早在1996年便由Gartner提出,其本质便是通过数据仓库、联机分析处理(OLAP)、数据挖掘等技术来完成从数据到信息的提炼,最终获得对企业经营和决策有用的知识。毫无疑问,只有通过商业智能的相关系统,才能真正把数据从企业的成本转化为价值。

    虽然国内各行业对于数据仓库系统均有热切的期望,但是真正实施的企业却不多,中国移动在2003年率先在全国范围内启动了中国移动二级经营分析系统的建设,应该是开创了国内行业大规模进行数据仓库系统建设的先河。笔者有幸参加了其中某省经营分析系统的建设,一些心得供大家分享和借鉴。

    影响数据仓库系统建设成功的关键因素

    影响一个数据仓库系统成功与否的关键因素通常有如下几点:数据质量;市场业务人员的参与程度;集成商对于业务的了解程度以及合适的技术框架的建立。

    数据质量

    相对于国外企业而言,国内企业的信息化建设周期较短,而计算机技术的发展和市场发展均很迅速,因此很多企业从信息化建设伊始,便忙于对生产管理系统的不断整合或升级,但是却忽略了对于数据本身的整理。对于电信运营商而言,客户的背景资料例如客户的性别、年龄、家庭关系等对于客户相关分析如离网、市场营销等都非常重要,但是可能在大部分电信运营商的数据库里,性别不祥的用户比性别为男或女的用户都多。国外的电信运营商都很注重对于客户家庭成员的相关分析,而国内电信运营商是不可能进行这些类似的分析,因为根本不具备这些准确的信息。这些不准确的数据会导致数据仓库系统最终分析得到错误的结论,不可能对企业经营提供帮助,因此数据质量的好坏直接影响了数据仓库系统建设的成败。

    业务人员的参与

    数据仓库系统实际上是完全为业务人员服务的系统,数据仓库系统建设的一个原则便是:在企业的各个部门中谁需要了解的数据最多,便为谁服务。因此,数据仓库系统与传统的企业生产管理或者运营系统有很大的区别,数据仓库的用户通常会包括企业的决策人员,企业的市场分析人员,企业的一线业务人员。业务人员作为系统的最终使用者应该在系统建设之初便全程参与系统的建设,包括对于源数据的选取等。而很多企业仍然将数据仓库系统当成一个传统的信息系统来建设,往往将其完全交给企业的IT部门来负责,以交钥匙的方式建设完成后交给业务人员使用,业务人员缺乏对系统建设的参与,最终导致建设和使用的脱节。按照数据仓库建设理论,数据仓库是一个过程而不是一个系统,其本质便是随着业务的不断发展,数据的不断积累而不断的完善和发展新的分析功能,因此对于数据仓库系统的建设而言,一个好的方法便是开发到一定程度后,便开放给前端业务人员使用,随着业务人员的使用和反馈,慢慢完善系统的建设,最终满足业务人员的业务需求。形成业务、数据、系统和前台使用人员的良性互动。

    集成商对于业务的了解程度

    数据仓库系统的建设对于传统的IT集成商和软件开发商提出了更高的要求。在传统的生产管理系统中,集成商或开发商只需要了解系统要实现的相关业务流程,在软件中实现这些业务流程和相关的业务操作。但是数据仓库系统要求集成商对于客户的业务和经营有更高的了解。一个优秀的集成商在整个数据仓库系统的建设期间需要扮演多个角色,在系统建设的前期,集成商负责搭建整个技术平台,在系统建设的中后期,客户往往会要求集成商利用数据仓库平台参与到客户的经营分析中去,利用相关技术找出市场发展的规律或者瓶颈。在这个过程当中,集成商实际上便需要完成从集成、开发到咨询的角色转变。因此,每一个致力于数据仓库系统建设的集成商都应该培养一支对市场和技术都相当了解的团队。

    合适的技术框架的选择

    很多公司在准备建设数据仓库系统时,都把精力放在工具的选择方面例如ETL工具、数据库工具、OLAP工具等。其实对于一个数据仓库系统而言,最重要的是选择一个合适的技术框架,包括合适的逻辑数据模型和物理数据模型,合适的数据抽取策略,到底是先转换后加载,边转换、边加载还是先加载后转换?合适的数据展现策略,ROLAP,MOLAP还是HOLAP?选择了一个合适的技术框架,从技术层面而言,数据仓库便已成功了大半。

    保障数据仓库系统建设成功

    要建设一个成功的数据仓库系统需要从如下几个方面努力:

    数据

    其实数据的问题不仅仅是质量问题。但是质量问题永远是其中最重要的一个。企业的数据质量问题一直都存在,但是数据仓库系统的建设引发了人们对于其更清楚地认识,很多没有建设数据仓库系统的企业同样也存在数据质量问题,只是可能还没有意识到。如果一个企业可以在数据仓库建设之前便对数据质量问题加以重视,并采取适当行动,无疑便有了一个好的开始。

    数据的另一个问题是数据过载的问题,现在来谈数据过载似乎有点早,但其实对于电信、银行、保险等行业来讲,对这一点应该有足够的重视。这些行业本身的业务系统便是海量数据系统,而数据仓库系统通常都要存储比业务系统多得多的历史数据,通常会是12个月的历史数据,而且,数据在进入数据仓库后,为了提高展现和分析的效率,会生成部分冗余和汇总的数据,30%的膨胀率对于数据仓库系统而言很平常。所以,永远需要把你需要用来分析的数据加载到数据仓库当中,否则数据仓库或许会变为垃圾仓库。

    业务问题选取合适,商务目标明确

    企业在实施数据仓库建设之前,可以对数据仓库的长期建设提出一个远景规划,但是一旦真正进行数据仓库建设,就一定要建立明确的商务目标,明确数据仓库系统所需要回答的业务问题。有了明确的业务问题至少可以让建设人员对与数据仓库所需要达到的目标有一个清楚地认识。

    不要依靠工具

    事实上,ETL、OLAP这些工具发展的年头其实相对来讲都不算长,所以,要想找一个可以完全满意的工具其实很不容易,但这些都不是关键。最起码,一个成功的数据仓库系统,应该是在明确了各个阶段的技术框架后再来选择合适的工具。所以不要依靠工具,而应该依靠合适的技术框架。

    系统建设纳入企业战略规划中

    这个说法看起来很大。但其实很有必要。通过一个成功的数据仓库系统能够发现企业中隐藏的成本和潜在增加收入的机会,让数据仓库系统成为企业运作的一部分,才能体现数据仓库系统本身的价值。因此当经营者们在考虑企业的战略目标时,同时就应该考虑,怎样利用数据仓库系统来进行日常的经营分析,怎样利用数据仓库系统来追踪影响战略目标的关键业绩指标?怎样利用数据仓库系统来辅助企业决策?只有将数据仓库系统变为日常决策和经营的一部分,他才是一个真正成功的商业智能系统。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。