在前面学完了SparkCore后,又学了SparkSQL,在继续加深学习之前,一定的复习还是很重要的。这里大体写一下,加深自己对SparlSQL的理解。

1.SparkSQL

  首先是SaprkSQL与HIve的继承

  然后是ThriftServer服务(JDBC/ODBC)

  SparlSQL开发语言:

    HQL:表需要存在(可以是HIve表存在,也可以是临时表存在--这样需要DateFrame注册)

    DSL:DateFrame相关的API(select,groupby。。。)

  DateFrame:SparkSQL的抽象

    RDD+Schema

    内部是一个逻辑计划

    编程模式:read与writer编程,这是一个链式编程

  SparkSQL默认支持的数据源

    hive

    rdbms

    parquet

    json

  多数据源的数据可以进行join操作

    注册成两张临时表,然后就可以进行join了

  可以替换Sqoop的工作,做数据同步的事情

    hive,hdfs(text,parquet,avro,orc),hbase,RDBMS,redis,MongoDB

  

05-06 16:17