首页 > 大数据 > 正文

BI与数据沟通的桥梁:数据整合

2010-07-13 16:56:58  来源:计世网

摘要:2008年的9月,艳阳高照,应卓越动力软件(Solventosoft)公司之邀请,计世网记者与全球著名的数据整合软件提供商——Pervasive公司的高级执行长官、Pervasive DI(Data Integrator)产品的创始人Micha
关键词: BI 数据整合

    2008年的9月,艳阳高照,应卓越动力软件(Solventosoft)公司之邀请,计世网记者与全球著名的数据整合软件提供商——Pervasive公司的高级执行长官、Pervasive DI(Data Integrator)产品的创始人Michael Hoskins先生、Solvento集团渠道联盟副总裁暨Pervasive产品线总经理孙万钧先生,以及产品经理王福强先生坐在一起,就时下最热门的商业智能与企业数据应用的整合进行了细致的沟通和讨论。

    现状

    众所周知,目前国内企业现正面临巨大的数据挑战,如:

    1. 数据质量不佳,致使报表不准,影响决策的判断和绩效的管理;

    2. 数据分散各处,数据形式不一致,导致数据整合的困难;

    3. 业务量迅速增加,系统需要更新升级,要把老数据从旧系统迁移到新系统;

    4. 应用系统越建越多,系统间缺少整合,导致系统间数据同步和转换的工作异常复杂;人员花大量时间在重复的手工输入. 也造成数据质量不一;

    5.传统的手工编码方式,由于业务不断演进和流程频繁变更,导致系统维护工作量巨大,成本难以控制;

    6.传统ETL数据整合工具要不价格太高、要不功能不齐备,导致ROI总是不理想;

    诸多问题随着企业信息化进程的深入而日益凸显,数据的价值随着技术的应用反而越来越低,即使企业花大价钱部署了商业智能系统,也因为原始数据的质量问题,导致报表不准确。所以企业需要高效准确的数据挖掘和整理。

    虽然国内的数据整合市场规模很难得出具体统计数字,但下面的一组数据能够给我们一些启示:目前国内的软件企业,95%—98%以上都是手工编程,而IDC的一项统计结果显示,软件开发预算中大约35%的部分用于了数据整合。也就是说,数据整合虽然在国内还是一块刚刚开垦的黑土地,但整体开发成本的35%将是数据整合厂商,包括Pervasive和Solventosoft以及Solventosoft的其他合作伙伴在内携手争取的目标。

    另据了解,目前包括用友、金蝶等国内大型软件开发商在内,数据处理这块仍然依靠手工编程,而没有利用专业的处理工具,然而借助Pervasive这类的工具来降低开发成本和风险,已经在国外成为大势所趋。可见,目前的数据整合市场对于数据整合厂商,充满了机遇。

    解决方案及行业实例

    想从日积月累的庞大资料中去落实商业智能方案对现代企业而言仍然是个极大的挑战。而永无止尽的企业项目需求更需要各种层次的管理方式来维持对数据的控管,同时将大量的数据形塑成具有意义的商业面向来引领企业的重要决策。那么Pervasive DI是如何满足这些需求的呢?

    问:如何通过数据质量管理方案,高效地解读数据?

    答:数据的读取、大型数据库的检索速度问题,一直是大家关注的问题。Pervasive是一个25年的产品,更具备DataRush这样的新引擎,能够实现高效地数据解读。打个比方,好比电脑现在采用双核、多核来提高运算速率一样,我们的产品也采取平行读数据的方式,使得数据读取速度比一般的读取提高了30倍。产品基于64位平台而设计的。

    而对于大型数据库检索速度问题,这是业界的一个著名的难题。单纯就超大容量的检索来说,单一数据库的检索都会速度比较慢,业界两种解决办法:

    第一,data staging,就是说将多个数据源都拉到一个库集中存储,然后再从这一个集中的数据库中提取。但是Michael同时也指出,这种“汇总式”不是最好的解决方案。因为将多个数据源的信息集中存储,并不能解决各个数据源中的一些脏数据、不合格信息的问题,不能做到数据环境的最优化。

    另外一种方法叫join engine,关联的引擎。将要取得数据进行按键匹配整理,将键值的匹配出来,拿出想要的数据。通过键值的关联形成一个视图,然后就这个视图再进行抽取。Pervasive的产品中有专门的的部分解决这个问题。

    问:ETL是如何保证清洗之后的数据环境

    答:实际上,Pervasive在数据整合方面完成了三个动作,即一抽取,二转换,三加载,这三步确保Pervasive将好的数据放到抽取到报表中。这种数据整合在保险行业、信用卡系统、CIN呼叫中心等方面都有需求,就是将坏数据筛掉,保留好的数据,保证系统中数据的有效程度处于较高水平。数据整合还包括数据的汇集,比如说医学信息上报,上报端可能来自县、区、市的各级医院、卫生监管部门,数据来源不同,内容不同,数据模式也可能是不够统一的。Pervasive可以通过专门的设计,使得这种看似无法整理的数据被整合到很好,使得信息呈报、预警等客户需求得到完满的实现。那么还有我国华南某省的12315投诉统计系统,台湾省的一家大型医院的医疗结算系统,网通的ERP系统,都是Pervasive在国内的成功案例。

    问:目前正值电信重组,三网融合,Pervasive有何成功案例可供借鉴?

    答:应该说电信重组对于Pervasive以及其大中华区总代Solventosoft,都是一次很好的机遇。Pervasive的产品也有能力为电信行业提供服务。Pervasive在美国做过Verizon和MCI两个电信案例。其中在MCI案例中甚至直接通过Pervasive抽取CDR详单。CDR是储存在交换机上比较难以解码的资料,我们在与MCI合作的过程中,设计了将这些难解码的资料从一个系统转移到另外一个系统里去的解决方案,这是本系统为美国电信行业服务的一个成功案例。那么我国的三网合一之后,合并业务的企业必然需要对某些业务的数据作整合、迁移、交割等工作。这绝对是一项非常复杂和繁冗的数据整合工作,Pervasive的确可以在这方面提供高水准的服务。但是目前来说,电信重组还处于行政重组阶段,数据整合应该还没有开始,我们也会一直关注这一动向,配合Pervasive在大中华区广泛推广的规划,与电信企业建立良好的合作与信任。另外一些电信行业的大的集成商与我们也有一些很好的合作。

    实际上,Pervasive目前在国内的市场计划,还处于广泛推广阶段,我们关注电信行业,也关注保险、金融、能源等其他行业,此前我们也做过一些行业推广体验会,尤其在与ISV/SI做一些试探性的推广,当然也包括一些专门为电信行业服务的方案在商谈。

    本土化服务

    一款产品,尤其是一款软件产品在中国的成功,本土化工作至关重要,作为Pervasive大中华区独家总代理,Solventosoft又有怎样的发展战略呢?

    问:Pervasive如何实现本土化?

    答:Pervasive在全球150多个国家、2000多个企业或部门都取得了良好的合作效益。目前,Pervasive作为上市公司,连续30个季度盈利,全球营业额4200万美元,业绩是非常的棒。

    但进入到中国的话,Pervasive会如何解决与国内企业的结合等问题,会因文化的差异而不适么?——这是很多不了解Pervasive战略的人所关心的问题。

    实际上Pervasive在全球的推行一直秉承“与合作伙伴共发展”的策略,在中国,Pervasive与Solventosoft早在三年前就建立起了大中华区独家总代的合作关系。Solventosoft的技术团队已经花费一年的时间完成了Pervasive在技术上的汉化工作。汉化实际只是Pervasive在中国实现本土化的一个方面,Pervasive还将依托Solventosoft,在能源、电信、政府、金融、保险、制造等行业开展业务推广,并委托Solventosoft继续负责Pervasive在中国的升级、维护等持续性工作。

    必须要提到的是,市场前景是光明的,达成理想却不是一蹴而就的事情。Pervasive花了20多年的时间,才实现了目前的业务布局。与Solventosoft的合作,将为Pervasive开启大中华区的广阔天地。目前,Solventosoft也开始和国内一些大型的行业ISV型软件公司建立了沟通,我们相信按部就班的推进会帮我们实现美好的愿景。

    问:如何技术支持与产业链融合?

    答:当然,一个软件不会解决所有问题。Solventosoft作为Pervasive的大中华区独家总代理,将为Pervasive产品提供全面实时的技术支持。SolventoSOFT在上海北京广州等地都设立的办公室。他们已培养了近十位优秀的技术工程,同时他们也定期举办产品培训,让更多的客户和合作伙伴知道如何使用这个产品, 我们也会从原厂派资深的技术工程师来做支持与指导。

    而且秉承Pervasive产品一贯的市场战略,Solventosoft将与客户建立共同发展的合作模式,从产品结构设计到服务费用,我们都采取开放式的态度,希望通过灵活多样的模式,能将产品和服务嵌入到客户的应用系统中。

    实际上,数据整合在IT行业属于一个无名英雄,它应该成为软件产业很基础又很关键的一个环节,为IT产业链的建立做出贡献。

    当然,其产品还会面向更广泛的行业提供服务,比如在基金、保险、银行、电信、能源等众多行业,相信Pervasive都能是大有可为。

    此外,Solventosoft也已经在数据整合的优质服务之上,对现代化的国内企业提供商务智能和数据挖掘的专业服务支持,以协助企业创收、增利及避险,请大家拭目以待。
 


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。