首页 > EA > 正文

浅析大数据应用规模化新场景

2012-09-11 09:37:15  来源:互联网

摘要:目前来看与传统应用场景相比,大数据应用规模化都有哪些新的场景?笔者根据用户应用场景进行分析,简单总结出以下两种应用场景,即:单一数据中心应用、多用户规模化应用。
关键词: 大数据

    浅析大数据应用规模化新场景


    目前来看与传统应用场景相比,大数据应用规模化都有哪些新的场景?笔者根据用户应用场景进行分析,简单总结出以下两种应用场景,即:单一数据中心应用、多用户规模化应用。


    单一数据中心应用


    近些年,各种数据中心如雨后春笋般建立起来。稍具规模的数据中心就会拥有将近上百台服务器,四百、五百台服务器的更是不在少数,这么多的服务器累加起来,总计几十甚至上百TB的数据总量就不难想象了。由此估算,每天的数据增长量可达上百GB左右。那么要如何保证所有数据的安全,如何控制大量数据备份的时间,缩小备份窗口时间,就成了一个相当令人头痛的难题。


    目前市场上现有的一些传统备份容灾产品其所适用的场合大多数为中小型规模的应用,它们可以完成数十台服务器的备份容灾要求,但是当面对这种大规模的数据中心时,无论从管理还是从性能等各方面都不能达到实际的要求。而让用户购入多套相同设备又不太现实,理由有两个方面:一方面是投入成本上不允许,投入和产出的效率让人难以接受;另一方面会给管理增加巨大的难度,管理难以到位,会导致更多问题的产生。所以,传统的一般备份容灾产品不可能对大型数据中心进行完全的保护。


    多用户规模化应用


    云计算的兴起,让多用户规模化应用得以发展。数据也成了大多数组织发展的生命线。很多大中型的组织,业务发展跨地域、跨领域,距离的远近已经无法制约组织的拓展。不过,问题也就这样随之而来,组织在全国乃至世界范围内有多家分支机构,如果每个分支机构都有多台服务器和几百GB的数据,那么一般的备份容灾产品就无法满足完整全面的备份容灾需求。因为一般的备份容灾产品只能部署在每个分支机构,单独满足每个分支机构的需求,而不同的机构之间不能形成统一管理的格局,造成了一种分散独立的局面。而且现实中,一般的组织通常无法为所有的分支机构都配备专业的IT运维管理人员,备份容灾产品的专业性决定了又不能由非专业人员来进行操作管理。如果让IT运维管理人员不停来往奔波于各分支机构,组织有限的资源就这样被不合理的消耗掉了,又不能获得良好的管理成效。


    由此可见,大数据背景下因大规模的用户及需求而导致的备份容灾规模化趋势将会面临着管理、扩展、技术等多方面的挑战。


    规模化应用遭遇备份容灾新挑战


    上面我们讲到了规模化应用所带来的新用户场景,也提到了规模化给备份容灾带来的挑战,接下来对这些挑战进行简单整理罗列。笔者总结归纳下来,这些新挑战有:管理挑战、扩展挑战、技术挑战。


    管理挑战


[page]    传统的IT管理资源大部分会倾斜在管理和使用环节,用户购买了一个备份容灾产品希望的是减少对应的管理工作。而传统的产品只能应对最多几十台服务器 的场景,面对规模化的场景动辄上百台的服务器,往往需要3-5套系统同时进行备份及容灾。这就要求IT运维管理人员需要同时管理这3-5套备份容灾系统, 这就大大增加了管理的难度。随着备份系统的增多,管理的效率会下降,同时花费的人力及投资成本会增加。


    扩展挑战


    同样的,我们在面对不断增长的业务系统,传统的备份容灾产品只能应对十几二十台的服务器,随着业务的增长及拓展,就意味着需要增加更多的备份容灾系统来提供足够的保护,这整个过程是十分僵硬的,所以对大数据的备份容灾保护能力的扩展难度是非常大的。


    技术挑战


    大容量的挑战


    通常建一个备份系统,可能十几个盘位就能解决备份容量的需求。可是当面对规模化的上百台服务器的时候,需要备份的数据可能就是成百TB的量。如何合理满足这种大数据大容量的要求是个挑战 。


    更小备份窗口的挑战


    更 小备份窗口,并不是指对单个服务器备份窗口的挑战,而更多的是对备份服务器吞吐量的考量。如果备份服务器的吞吐量不合要求,即使备份客户端跑的再 快,服务器却无法接收,那么性能自然也就不能提升,备份窗口就不能更小,空有足够的空间,却来不及备份,自然就无法满足大数据备份的整体要求。如何满足大 数据环境下备份窗口要求是个挑战。


    有效恢复的挑战


    在一个数据中心环境中,不同的系统服务器所需要的保护也是不同 的。可能有些服务器是核心系统,需要应用容灾,有些重要服务器需要实时备份,对于一般 服务器只要提供定时备份保护。这些服务器中所需要备份的对象也会有很大的差异性,会涉及不同的操作系统和数据结构。这就需要一个统一的保护策略,来保障这 些差异性能得到充分的保护,也就是说在面对不同业务系统的时候要有差异性,在面对整个数据中心时要保证统一性。所以在面对大数据环境下不同业务系统,提供 更加有针对性、更加有效的恢复是个挑战。


    我们上面列举了大数据背景下备份容灾所面临的一些新挑战,那么面对这些挑战,什么样的备份容 灾才能应对呢?我认为大数据的核心问题在于扩展能力:1、 大数据的容量挑战,意味着需要有简易的容量扩展能力,传统磁盘阵列的扩展方式不能满足要求; 2. 大数据的性能挑战,随着容量的加大,性能要求线性的增长,所以,扩展意味着性能的提升; 3. 大数据的可靠性挑战,传统磁盘阵列内部RAID级别的数据冗余无法满足大数据的要求,节点级别的冗余更加迫切;而大数据的挑战,可行的出路是云计算的思 路,通过资源池化、弹性扩展和服务化来实现大数据增长时,按需扩展,包括 容量、性能和可靠性的成长,这才能真正从根本上解决大数据带来的管理难题。


    结语


    综上所述,大数据带来了大机遇,也迎来了大挑战。在类似数据中心的应用场景的整体方案规划过程中,数据保护是一个不容被忽视的问题,而到底备份容灾在中大型用户,面对大数据狂潮该如何落地,我们在此道路上该上下求索,且听下回分解。


第三十四届CIO班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训
责编:liangxuejuan

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。