随着互联网、移动互联网、物联网、云计算的快速发展，各行各业爆炸性增长的海量数据将再一次颠覆云时代，信息量暴增的大数据时代吹响了号角。

    用户如何从这庞大的数据库中提取对自己有用的信息呢？这就需要大数据分析技术和工具，而传统的商业智能（BI）工具已经抵挡不住企业如此庞大的数据信息。提到大数据，不得不说的是与大数据相关的技术名词：Hadoop、MapReduce、HBase、NoSQL等。业界的众多厂商也都开始从技术入手，打造各自的大数据解决方案。一时间，Hadoop红遍了全球，就像当年的Linux开源软件系统一样，成为了研究和设计大数据解决方案的主流平台。

    华丽的变形

    Hadoop的发展基本上经历了这样一个过程：从一个开源的Apache基金会项目，随着越来越多的用户的加入，不断地被使用、贡献和完善，逐渐形成了一个强大的生态系统。

    随着云计算和大数据的发展，如今Hadoop已经是一个能够让用户轻松驾驭和使用的分布式计算平台。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序，并能充分利用集群的威力实现高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在价格低廉的硬件上，而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，这样可以用流的形式访问文件系统中的数据。

    Hadoop最受欢迎的是在Internet上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要grep一个100TB的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但是Hadoop在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。

    如今，基于Hadoop的应用已经遍地开花：Yahoo通过集群运行Hadoop，以支持广告系统和Web搜索的研究；Facebook借助集群运行Hadoop，以支持其数据分析和机器学习；百度则使用Hadoop进行搜索日志的分析和网页数据的挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

    九年的长跑，Hadoop已从初出茅庐的小象华丽变形，成为了行业巨人，但还需戒骄戒躁、不断完善。

    性能大提升

    Hadoop还是一个能够对大量数据进行分布式处理的软件框架。Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。

    Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。

    Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop可以将数千个节点投入计算，非常具有性能潜力。但并非所有的工作都可以进行并行处理，如用户交互进行的数据分析。如果你设计的应用没有专门为 Hadoop集群进行优化，那么性能并不理想，因为每个Map/Reduce任务都要等待之前的工作完成。

    英特尔针对大数据的开放架构核心产品线，推出了英特尔Hadoop分发版，让用户可以实现“软硬协同，体验至上”的创新效果。例如，利用英特尔至强处理器平台对网络和I/O 技术所做的优化，与英特尔Hadoop分发版进行强力组合，以往分析1TB的数据需要4个多小时才能完全处理完，现在仅需要短短的7分钟即可完成，极大地提升了大数据分析的速度。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。