要设置一个简单的 hadoop 项目,我正在学习本教程:http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html
我的 hadoop 单节点似乎运行正常。
当我使用以下代码指定 In
文件夹时:
FileInputFormat.setInputPaths(conf, new Path("In"));
我收到此错误:
13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In
目前
In
文件夹创建于 C:\homedir\hadoop-1.0.4\In
我需要在哪里创建“In”文件夹,以便它出现在
hdfs://localhost:9100/user/DEVUSER/In
中?我是否需要更新 xml 文件以指向本地文件系统上的文件夹? 最佳答案
您需要先将输入文件上传到 HDFS 文件系统:
bin/hadoop fs -mkdir In
将在 HDFS 中创建一个名为
/user/DEVUSER/In
的目录。bin/hadoop fs -put *.txt In
将所有
*.txt
文件从当前目录复制到集群 (HDFS)。您似乎跳过了教程中的第 Upload data 章。按照它,你的问题应该得到解决。
关于hadoop - 第一个hadoop项目错误: "Input path does not exist",我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/15191832/