我在Redhat中使用单节点设置,并安装了Hadoop Hive Pig和Spark。我在Derby和所有内容中配置了配置单元元数据。我为Hive表创建了新文件夹,并赋予了全部特权(chmod 777)。然后,我从Hive CLI创建了一个表,然后可以在Spark-shell中选择这些数据,并将这些值打印到控制台。但是从Spark-shell / Spark-Sql我无法创建新表。它会引发错误

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:file:/2016/hive/test2 is not a directory or unable to create one)

我检查了权限和用户(使用同一用户安装和Hive和Hadoop Spark等)。
要完全整合Spark和Hive,是否需要做任何事情?

谢谢

最佳答案

检查hdfs中的权限是否正确(不仅仅是文件系统)

hadoop fs -chmod -R 755 /user

如果之后错误消息仍然存在,请更新问题。

10-05 21:14
查看更多