谁知道HPCC / HDFS连接器。我们同时使用HPCC和HADOOP。HPCC开发了一种实用程序(HPCC / HDFS连接器),它允许HPCC群集访问HDFS数据。
我已经安装了连接器,但是当我运行程序以从hdfs访问数据时,由于libhdfs.so.0不存在,它给出了错误。
我试图使用命令构建libhdfs.so
ant compile-libhdfs -Dlibhdfs=1
它给了我错误
我又用了一条命令
ant compile-c++-libhdfs -Dlibhdfs=1
其给定错误为
任何建议都会有很大帮助
最佳答案
Chhaya,您可能不需要构建libhdfs.so,这可能取决于您安装hadoop的方式。
检入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so
,其中HADOOP_LOCATION
是您的hadoop安装位置,而arch
是计算机的体系结构(i386-32或amd64-64)。
找到库后,请确保正确配置了H2H连接器(see page 4 here)。
只需更新配置文件中的HADOOP_LOCATION
var即可:/opt/HPCCSystems/hdfsconnector.conf
祝好运。
关于hadoop - HPCC/HDFS连接器,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/11099866/