首页 > 大数据 > 正文

上证所的数据仓库构建之路

2009-10-29 08:58:57  来源:计算机世界

摘要:“作为国内成立最早、规模最大的证券交易所,上海证券交易所(以下简称“上证所”)早在2000年世纪之交便提出了“打造世界一流交易所”的愿景。通过数据仓库为决策提供数据支持是上
关键词: 数据仓库

  “作为国内成立最早、规模最大的证券交易所,上海证券交易所(以下简称“上证所”)早在2000年世纪之交便提出了“打造世界一流交易所”的愿景。通过数据仓库为决策提供数据支持是上证所信息化建设的核心内容。
  据上证所总经理助理、总工程师白硕介绍: “常态情况下,全所目前有700多个分析应用在稳定运行。同时,我们还会根据大家的需求,有针对性地开发一些新的分析应用。因此,每年新增的分析应用也在100个以上。”数据仓库平台在上证所的经营、监管、创新和服务等各方面均提供了重要的支持。
  三期三个台阶
  白硕向记者简要介绍了上证所数据仓库的三期项目情况。2002年10月,数据仓库一期项目正式进入实施阶段。作为上证所数据仓库系统的基石,一期项目建立了集中、统一的数据中心,完成了源数据的统一处理,保证了数据的准确性和一致性; 提供诸多信息服务功能,包括方便的查询分析功能,满足了业务统计、分析的需求; 预留了开放接口,保证了系统的可扩展性。同时,对所有的历史存储介质进行了翻新、对历史数据完成了清洗、对每日新增数据建立了安全可靠的自动加载机制。
  在一期工程的基础上,以应用分析系统建设和完善数据仓库管理为目标的二期多维数据存储系统(DDS)建设又在2004年正式启动,并于2005年12月顺利完成。在该阶段工作中,Teradata数据仓库实现了应用系统的建设、元数据管理、数据仓库管理、结构化数据和非结构化数据的集成、信息增值服务的提供,以及数据仓库门户和数据权限管理等新功能,帮助上证所实现了完善的企业单一视图、先进的元数据管理应用、完整的数据仓库管理体系以及有特色的结构化数据和非结构化数据综合应用。
  考虑到一旦发生灾害将会造成数据仓库系统停止运行,这将对证券市场产生重大的影响,上证所于2007年7月启动了三期项目——国内首例企业数据仓库主从双系统(生产系统和灾备系统)的建设,以保障持续的数据分析和信息服务,从而确保证券市场的稳定发展。
  “通过三期项目的实施,上证所实现了整合、扩容、差异化存储、同城灾备系统建设四个目标同时达成,我们采用双加载技术手段和数据检查机制,解决了主从数据仓库系统的数据一致性难题。”白硕表示。
  充分利用数据
  为了准确判断系统设置最高峰值会不会被突破,大家立即调出历史数据分析,将每天上下午申报成交的比例进行了测算,结果发现: 下午交易笔数超出上午的比例不足5%。因此,根据以往经验再加上科学的数据分析,上证所认为交易系统能够满足当天的交易需求,并做出了“不做临时调整”的果断决定。“进行这样的决策,光靠经验是不够的,还需要靠数据说话。”白硕说。
  据了解,上证所的日常监管分为两部分: 一方面是通过专门的监察系统实时传递的数据结合数据仓库储存的历史数据进行对比分析,当场查处违规的异常交易; 另一方面,则是通过数据仓库为司法检查机关的立案和稽查工作真实再现当时交易状况的第一手历史数据。2007年的杭萧钢构内幕交易案就是一个借助数据仓库分析成功破案的典型例子。
  而在产品创新方面,据白硕介绍,“比如融资融券,究竟什么条件的证券可以成为担保品?这就需要使用数据仓库进行数据筛选,帮助业务人员把满足一定条件、可以用做担保品的优质证券算出来。”基于系统存储的历史数据,数据仓库可以帮助业务人员去测算某个新产品一旦推出,其风险和收益如何。实际上,上证所在推出EPS和权证等产品时,都曾通过数据仓库平台进行过测算和验证。2006年,上证所成立了金融创新实验室,实验室的数据正是来源于数据仓库系统。
  据白硕透露,为了向“世界一流交易所”的目标不断前进,上证所的数据仓库将向实时型数据仓库推进。基于上证所EAI消息总线的建成,结合实时数据仓库技术,实现行情、交易、成交等实据的实时加载,以期更加紧密地跟踪市场的变化、提高服务效率和效能、加强市场监管力度,更好地服务市场和监管市场。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。