大数据是当今科技行业发展速度最快的领域之一大数据具有前所未有的大量化、快速化和多样化三大特点，这些是许多新技术背后的驱动力，这些技术可帮助企业处理大数据带来的多种新问题。

    在诸多的新兴解决方案中，Hadoop和MapReduce被视为两种大有希望的方法，可高效管理和分析大数据。但目前针对MapReduce应用的运行时引擎还无法提供足够功能来满足食业希单在生产环境中部署MapReduce应用的实际需求。

    对企业IT部门来说，先进的运行时引擎应该是这样一种管理工具：它可以住满足高标准服务水平协议（ SLA）的同时，支持企业里的各业务部门。这类管理工具应该能够支持混合类型的工作负载，包括MapReduce应用及业务部门在共享式网格上智能化提交的其他应用。

    此外，如今的IT部门正在经历重大转变在许多情况下，IT部门不再只是个成本中心，相反，它被视为支持企业里各业务部门的服务提供者预算有限、工作负载需求加大，使得IT部门面临巨大的压力，必须进一步允分利用现有的基础架构，最大限度地提高总的资源利用率

    为了支持MapReduce应用等新型应用，IT部门迫切需要一种共享式服务运行时平台以获得更好的性能、更高的资源利用率、自动监控和诊断功能，同时也需要IT基础架构能提供更高级的应用生命周期支持

    何谓共享式服务模型？

    共享式服务模型是指这样一种基础架构平台：它允许多个应用（无论其类型和要求是什么）能够在共享式基础架构上并行执行，共享式服务模型常常由一种先进的应用调度和资源管理引擎来管理，为它所支持的企业里的多个业务部门提供有保障的服务。

    共享式服务IT模型提供以下几个好处：少花钱多办事、迅速获得基础架构方面的投资回报、提供更好的可管理性、有更好的可扩展性和灵活性以支持不断变化的应用需求、利用收费政策，让IT部门的角色从成本中心转变成盈利中心。

[page]    现有的Hadoop MapReduce运行时引擎面临的挑战

    遗憾的是，目前MapReduce运行时引擎的Hadoop实现无法提供上述的共享式服务功能，这归因于Hadoop作业跟踪器（HadoopJobTracker）的基本架构设计-Hadoop作业跟踪器是一个管理层，在运行期间为MapReduce作业提供必要的服务。

    目前的Hadoop作业跟踪器还无法把作业调度逻辑与资源管理逻辑分离开来，这直接导致了下列重大缺陷：

    ·缺少企业级能力。在任何一个时间，只有一个MapRedure应用可以在集群上运行。因而，资源变成了静态的和用途单一的；而应用也是串行执行，而不是并行执行，导致无法有效地利用资源、形成烟囱式的IT环境，限制了可扩展性。

    ·作业跟踪器成为单一故障点。如果作业跟踪器出现故障，所有运行中的作业都将停止。

    很显然，目前Hadoop作业跟踪器能力有限，无法提供IT部门生产级环境中都暑MapReduce应用所需的共享式服务功能。如何部署共享式服务模型？

    企业应该视不同的业务要求使用以下方法部署共享式服务模型：

    1.“烟囱式共享模型”——为不同的业务部门提供有保障的资源。IT部门根据不同业务部门的特定需求，为它们提供有保障的资源业务部门向集中式IT部门请求一定数量的资源，专门供自己使用：然后，那些请求被定义为策略，加入到资源分配方案中。不同业务部门之间不共享资源，集中式IT部门负责管理资源分配，系统监控和故障排除

    2.“代理式共享模型”——企业内部跨各职能领域的资源共享。企业内部的不同职能部门共享一组通用的IT资源，资源共享策略根据不同业务部n的特定需求来予以定义，然后加入到资源分配方案中，不是为某个业务部门单独分配静态资源，而是通过动态共享整个基础架构，从而为用用户提供有保障的资源。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。