Apache Hadoop技术经常与大数据概念联系在一起，它们常常同时出现在各种行业会议和媒体报道中。而IT人员、咨询顾问和行业分析师已经逐渐达成共识，Hadoop只是诸多大数据技术中的一种。

    Hadoop是一个开源技术 ,它允许公司存储和分析分布式计算环境的海量数据。它的出现肯定对提升大数据的影响力有重要作用。但是行业观察者指出，Hadoop现在仍存在一些问题。

    Forrester机构的企业架构分析师Brian Hopkins说：“人们开始认识到，大数据和Hadoop并不是同义词。这是因为他们下载Hadoop之后，并不意味着就能够玩儿转大数据，它仅仅只是一个工具。”

    大数据与Hadoop:从幕后走到台前

    Hadoop最初由互联网巨头谷歌和雅虎共同开发，现在已经转移到Apache软件基金会。在赢得了大数据必备工具的称号并开始出现一些成功案例之后，这项技术及其醒目的logo从2011年起名声大振。

    以eBay为例，这家知名电商平台在几次大会上都介绍了它的三层数据分析平台。结构化数据位于第一层：一个用于保存内部业务项目（如支撑商业智能仪表板和报表）的企业数据仓库。第二层由Teradata数据管理平台组成，用于存储大容量半结构化信息。而非结构化数据（如文本信息）则保存在第三层，它是一个用于深度研究、分析和实验的Hadoop集群。

    Hopkins在最新播客“大数据的超大规模价值”上指出：“现在出现了一个有趣的用例，其中Hadoop被看作是一种快速分布式环境，它成为分段存储大量信息的场所。因为你还无法确定如何处理它，所以直接将原始文件保存在Hadoop中，然后由Hadoop处理这些文件。”

    Hadoop是一个分布式文件系统，它的数据（结构化、半结构化和非结构化）存储功能优于关系型数据库。因此，它非常适合那些需要收集大量数据（如无统一格式的社交媒体网站内容、计算机生成的传感器日志和GPS位置信息）的公司使用，而不会影响他们的传统关系数据库。

    Wayne Eckerson是TechTarget业务应用研究主管，他在最新报告“大数据及其对数据仓库的影响”中指出：“Hadoop是一种载入立即可执行的环境：管理员可以在Hadoop中存储大量数据，而不需要将它们转换为特定的结构。然后，用户就可以使用他们的工具分析这些数据。”

    SAS 研究所的资深行业分析师Jill Dyché也指出，Hadoop使用户能够查看原始数据，这在一定程度上改变了数据仓库使用者的工作方式。

    她说：“在数据仓库领域，我们鼓励提出业务需求，鼓励严格的数据质量要求，但是不鼓励独立加载数据。但是在大数据领域，这一方式得到了颠覆。”[page]
    Apache Hadoop困境

    Hadoop还有其他优点。例如， MapReduce能够以并行方式处理大数据集。根据行业分析师Philip Russom的观点，它是一个通用执行引擎，甚至能够处理手工编码的代码。

    但是，如果要使用MapReduce,程序员必须能够操作它的语言。有一些工具并未被广泛熟悉，如Hive,它使用一种类SQL的语言（HQL）访问数据。

    Russom指出：“我曾经听人说：‘Hive很容易学。’但是，它无法真正解决与传统SQL工具的兼容问题。”

    关心数据分析的公司还需要一些技术人员参与（如数据科学家），他们应该有能力操作Hadoop的专用工具。数据科学家一般具备博士学位，因此，他们的薪水可能很高，而且也很难招聘到。

    此外，这项技术还有其他一些缺点：Eckerson甚至将Apache Hadoop描述为“乳臭未干”,而且在安全性、数据质量和元数据分类等功能上存在不足。Hopkins认为它“很难用”,“不成熟”.Russom认为这项技术肯定会有不错的前景，但是成为主流应用还需要几年时间。

    根据eBay高级技术成员和架构师Tom Fastner的观点，即使在eBay,其核心竞争力也不在于Hadoop,而是构成数据分析平台的第二层技术。eBay将它基于Teradata的数据库系统称为Singularity,并且表示它将提供30 PB空间，而并发性低于EDW.Fastner指出，Singularity的最大应用是用户行为分析，这个流程通常可以产生宝贵的商业洞察力。

    而且，Forrester的Hopkins指出，有其他技术可以帮助企业实现优于Hadoop的大数据方案。所有这些都取决于业务需求。他说：“我们分析了大数据技术的两个不同方面。其一是结构，另一个是延迟。”

    每一个方面由低到高排列，大数据工具和技术都属于这些范畴。例如，内存技术（如SAP HANA）可以在高度结构化数据上实现低延迟的查询结果，而大规模并行处理（MPP）技术（包括Teradata和IBM Netezza）都可以处理高延迟的高度结构化数据。

    Hopkins说，虽然Hadoop能处理多种数据类型，但由于批处理的方式，这使得它无法搭建实时环境。

    专家指出，Hadoop的光环可能会慢慢消退，但现在它仍然是倍受关注的技术，它的主要支持者仍然是互联网巨头。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。