apache-spark - Apache Spark 2.3.1与HDP 3.0中的Hadoop 3.0的兼容性

我打算从Hortonworks Data Platform [HDP](2.6.x版)升级到HDP 3.0。但是，Apache Spark 2.3.x及其与Hadoop 3.0的集成似乎存在一些主要错误，而Apache Spark JIRA问题仍未解决。尽管Spark开发团队正在努力解决这些问题。这些问题是否由Hortonworks团队提供了解决方法或解决方案，或者它们仍然存在于HDP 3.0中？

有关我的用例的一些未解决的问题:

Spark DataFrames不适用于Hadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673

Hadoop 3中的Kerberos票证更新失败https://issues.apache.org/jira/browse/SPARK-24493

Spark在Hadoop 3上运行https://issues.apache.org/jira/browse/SPARK-23534

最佳答案

我检查了与HDP Spark-2.3.1和Hadoop 3.0.1的集成。它可以完美运行，并且上述问题在HDP版本的Spark中已解决，但在HDP-3发行说明中未提供。
检查社区answer