java - 测试Hadoop是否正常工作

现在如何测试我的hadoop安装？我找不到adoop-examples-1.1.2.jar。
还有其他方法可以测试Hadoop和Mahout是否正常工作吗？

提前致谢。

最佳答案

您可以运行mapreduce hello world作业。请注意，您的路径可能略有不同:

HADOOP_HOME是您已安装hadoop的目录。

<HADOOP_HOME>/input/file01中存在的

示例性测试输入文件

在您的hdfs中准备目录结构:

<HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount

<HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/input

<HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/output

将file01文件放入hdfs:

<HADOOP_HOME>/bin/hdfs dfs -put <HADOOP_HOME>/input/file01 /wordcount/input

使用示例jar转到目录:

cd <HADOOP_HOME>/share/hadoop/mapreduce/lib-examples(在我的情况下， jar 名称为hadoop-mapreduce-examples-2.3.0.jar)

解散映射的作业<HADOOP_HOME>/bin/hadoop jar ./hadoop-mapreduce-examples-2.3.0.jar wordcount /wordcount/input/file01 /wordcount/output/file01-output

作业应该成功完成，并且应该看到file01中的单词计数并存储在/ wordcount / output / file01-output目录中

<HADOOP_HOME>/bin/hdfs -cat /wordcount/output/file01-output/part-r-00000

关于java - 测试Hadoop是否正常工作，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/23408937/