我正在尝试通过邮递员POST call 通过小批提交申请。我确实在日志中看到以下错误。但是我能够通过Curl在交互式livy session 中执行命令。

我在livy2-env中检查了HADOOP_CONF_DIR属性,并设置了与Spark2-env相同的值

请建议我是否有任何遗漏
"Diagnostics: File does not exist: hdfs://<host:port>/user/livy/.sparkStaging/application_TimeStamp/__spark_conf__.zip"

最佳答案

您需要在HADOOP_CONF_DIR处设置所有包含文件夹的hdfs文件的路径。在我的系统中,路径为/usr/local/hadoop/etc/hadoop。只需检查一下并进行设置即可。我希望它能起作用。

关于hadoop - Livy Client-Spark_Conf.zip不存在,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/48715743/

10-12 23:43