谁知道HPCC / HDFS连接器。我们同时使用HPCC和HADOOP。HPCC开发了一种实用程序(HPCC / HDFS连接器),它允许HPCC群集访问HDFS数据。

我已经安装了连接器,但是当我运行程序以从hdfs访问数据时,由于libhdfs.so.0不存在,它给出了错误。

我试图使用命令构建libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给了我错误



我又用了一条命令
 ant compile-c++-libhdfs -Dlibhdfs=1

其给定错误为



任何建议都会有很大帮助

最佳答案

Chhaya,您可能不需要构建libhdfs.so,这可能取决于您安装hadoop的方式。

检入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so,其中HADOOP_LOCATION是您的hadoop安装位置,而arch是计算机的体系结构(i386-32或amd64-64)。

找到库后,请确保正确配置了H2H连接器(see page 4 here)。

只需更新配置文件中的HADOOP_LOCATION var即可:/opt/HPCCSystems/hdfsconnector.conf
祝好运。

关于hadoop - HPCC/HDFS连接器,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/11099866/

10-13 04:32