我在Hadoop群集中使用HDFS 2.7.3和Spark2 2.0.0。当我启动Spark2 Thrift Server时,它会成功启动,但会自动从Hive用户启动,作业开始运行,并且似乎永远挂起。如果我手动取消该作业,它将再次使用新的applicationId启动新作业。
hadoop - Spark应用程序继续运行,并且似乎正在挂起-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-LMLPHP hadoop - Spark应用程序继续运行,并且似乎正在挂起-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-LMLPHP hadoop - Spark应用程序继续运行,并且似乎正在挂起-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-LMLPHP
但是,如果我停止Spark2 Thrift Server,它将终止工作。您能帮我理解这个问题吗?
提前致谢。

最佳答案

我遇到了像您一样的问题,Spark 2.0的Thriftserver模块不稳定,最好升级到Spark 2.1

关于hadoop - Spark应用程序继续运行,并且似乎正在挂起-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/43531678/

10-10 12:49