hadoop - Hadoop 1 和 Hadoop 2 之间的区别

据我所知，我只知道 Hadoop 1 和 2 之间的一个区别。

其主动和被动次要名称节点。

有人可以列出 Hadoop 1 和 2 之间的区别吗？

最佳答案

Hadoop 1

Hadoop 1.x 仅支持 MapReduce (MR) 处理模型。不支持非 MR 工具。

MR 执行处理和集群资源管理。

1.x 具有有限的节点扩展。每个集群限制为 4000 个节点。

研究槽的概念——槽只能运行 Map 任务或 Reduce 任务。

单个 Namenode 来管理整个命名空间。

1.x 有单点故障(SPOF)——因为单个 Namenode——并且在 Namenode 故障的情况下，需要手动干预来克服。

MR API 与 Hadoop 1x 兼容。用 Hadoop1 编写的程序在 Hadoop1x 中执行，无需任何附加文件。

1.x 作为事件处理、流媒体和实时操作的平台存在局限性。

Hadoop 2

Hadoop 2.x 允许在 MR 以及其他分布式计算模型(如 Spark、Hama、Giraph、消息传递接口(interface))MPI 和 HBase 协处理器中工作。

YARN(Yet Another Resource Negotiator)进行集群资源管理，并使用不同的处理模型进行处理。

2.x 具有更好的扩展性。每个集群最多可扩展到 10000 个节点。

致力于容器的概念。使用容器可以运行通用任务。

多个 Namenode 服务器管理多个命名空间。

2.x 具有通过备用 Namenode 克服 SPOF 的功能，并且在 Namenode 故障的情况下，它被配置为自动恢复。

MR API 需要额外的文件，以便在 Hadoop1x 中编写的程序在 Hadoop2x 中执行。

可以作为各种数据分析的平台——可以运行事件处理、流媒体和实时操作。

关于hadoop - Hadoop 1 和 Hadoop 2 之间的区别，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/24993570/