在一些Spark代码中,我已经看到程序员使用此类代码创建SparkContext。

 SparkSession session = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate();

但是我一直使用这种代码创建JavaSparkContext。
SparkConf sparkConf = new SparkConf().setAppName("Simple App").setMaster("local");
JavaSparkContext spark = new JavaSparkContext(sparkConf);

从代码的后半部分,有什么方法可以使Hive上下文对Hive表执行操作?

谢谢!

最佳答案

您使用的是Spark 2.0或更高版本,该版本不再使用SQLContext。用SparkSession替换enableHiveSupport即可。

因此,您要做的就是已有的session实例。

关于hadoop - 如何从JavaSparkContext获取HiveContext,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46816291/

10-11 08:56