大数据（一）背景和概念

-系列目录-

大数据（一）背景和概念

大数据（二）大数据架构发展史

大数据（三）大数据技术栈发展史

前两章，我们分析了大数据相关的概念和发展史，本节我们就讲一讲具体的大数据领域的常见技术栈发展史。对主流技术栈有一个初步的认知。

一、总览

大数据技术栈非常多估计大大小小多达上百种。但发展史、技术体系仍有迹可循。我们从数据采集、清洗、应用3大步骤来看，在每个步骤内部按照时序标识主流技术栈时间点。以此期望能给大家一个初步的映像。三大步骤如下：

• 数据采集：从数据源进行数据同步，大致分为：主动查询DB数据批量（离线）同步、基于DB log数据变更（实时）同步2大类。
• 数据清洗：标准的ETL数据清洗，大致分为：离线计算（批处理）、实时计算（流处理）2大类。
• 数据应用：OLAP在线数据分析、报表、数据大屏、大数据查询服务API。

分步骤整体技术栈如下图所示：

二、技术栈

2.1 数据集采

如上图，数据采集可以归纳为两大类：离线查询同步、实时变更同步。如下图所示：

2.1.1 离线同步

离线同步常见技术栈有：Sqoop、Flume、DataX。

2.1.1.1 Sqoop-2009

1）介绍