【spark（零）】spark技术概览

一. Spark入门

Spark基础知识
Spark部署模式、
Spark运行流程

【概述】spark（一）:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境

 

二. Spark RDD与 Spark core

RDD基础
常用的RDD算子
RDD函数传递
RDD依赖关系
RDD缓存与检查点
数据的存储与读取
RDD编程进阶

【理论】（spark 二）spark core之RDD：基础概念、特点、stage任务划分与hello spark

【算子1】spark（三）：spark core：trans算子中value类型的算子使用说明

【算子2】spark（四）：spark core：trans算子中key-value类型的算子使用说明

【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点

【变量】spark（六）变量共享：累加器和广播变量

三. Spark SQL

Spark SQL基础
Spark SQL创建
RDD DataFrame DataSet转换
IDEA创建Spark SQL程序
用户自定义函数
Spark SQL数据源

【spark sql】spark（八）sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源

 

四. Spark Streaming

基本介绍
WordCount案例实操
DStream创建
从Kafka中采集数据
DStream转换
window函数

【spark streaming】spark（九）Spark Streaming Programming Guide：概述、wordcount、数据源、trans（常见算子、window）、输出源

 

五. Spark内核原理

【shuffle/内存模型】spark（七）超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面