sparksql parquet 分区推断Partition Discovery

网上找的大部分资料都很旧,最后翻了下文档只找到了说明

大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下

java

 public class ParitionInfer {

     private static SparkConf conf = new SparkConf().setAppName("partitioninfer");

     private static JavaSparkContext jsc = new JavaSparkContext(conf);

     private static SparkSession session = new SparkSession(jsc.sc());

     public static void main(String[] args) {

         // 加载数据源

         Dataset<Row> dataset = session.read().option("basePath", "hdfs://hadoop002:9000/spark_sql/users/")

                 .parquet("hdfs://hadoop002:9000/spark_sql/users/gender=male/country=us/users.parquet");

         dataset.printSchema();

         dataset.show();

         session.stop();

         jsc.close();

     }

 }

(注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径)

scala

 object PartitionInfer {

   def main(args: Array[String]): Unit = {

     val conf = new SparkConf().setAppName("partitioninfer").setMaster("local")

     val sc = new SparkContext(conf)

     val sqlContext = new SQLContext(sc)

     val df = sqlContext.read.option("basePath", "f:/").parquet("f:/gender=male/country=us/users.parquet")

     df.printSchema()

     df.show()

   }

 }

scala的版本用的本地路径,测试发现依然可以实现分区推断