在一些Spark代码中,我已经看到程序员使用此类代码创建SparkContext。
SparkSession session = SparkSession
.builder()
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate();
但是我一直使用这种代码创建JavaSparkContext。
SparkConf sparkConf = new SparkConf().setAppName("Simple App").setMaster("local");
JavaSparkContext spark = new JavaSparkContext(sparkConf);
从代码的后半部分,有什么方法可以使Hive上下文对Hive表执行操作?
谢谢!
最佳答案
您使用的是Spark 2.0或更高版本,该版本不再使用SQLContext
。用SparkSession
替换enableHiveSupport
即可。
因此,您要做的就是已有的session
实例。
关于hadoop - 如何从JavaSparkContext获取HiveContext,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46816291/