python - spark作业中不存在配置单元表

我在 EMR 中使用 Hive Metastore。
我可以通过 HiveSQL 或 SparkSQL 手动查询表。
但是当我在 Spark Job 中使用同一个表时，它说 表或 View 未找到

File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco pyspark.sql.utils.AnalysisException:
  u"Table or view not found: `logan_test`.`salary_csv`; line 1 pos 21;
'Aggregate [unresolvedalias(count(1), None)]
+- 'UnresolvedRelation `logan_test`.`salary_csv`

这是我的完整代码

from pyspark import SparkContext, HiveContext
from pyspark import SQLContext
from pyspark.sql import SparkSession

sc = SparkContext(appName = "test")
sqlContext = SQLContext(sparkContext=sc)
sqlContext.sql("select count(*) from logan_test.salary_csv").show()
print("done..")

我提交了我的工作如下以使用配置单元目录表。
spark-submit test.py --files /usr/lib/hive/conf/hive-site.xml

最佳答案

看起来您正在使用 Spark 2，因此 SQLContext 和 HiveContext 应该在您使用 SparkSession.sql() 后替换为 enableHiveSupport()
而不是 .sql() ，您可以使用 SparkSession.table() 获取整个表的 DataFrame ，然后使用 count() 跟随它，然后是您想要的任何其他查询。

from pyspark.sql import SparkSession

spark = SparkSession.builder.enableHiveSupport().appName("Hive Example").getOrCreate()
salary_csv = spark.table("logan_test.salary_csv")
print(salary_csv.count())

关于python - spark作业中不存在配置单元表，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47897050/