Spark记录-阿里巴巴开源工具DataX数据同步工具使用

1.官网下载

下载地址：https://github.com/alibaba/DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

支持的数据源：https://github.com/alibaba/DataX/wiki/DataX-all-data-channels

快速入门：https://github.com/alibaba/DataX/wiki/Quick-Start

插件开发：https://github.com/alibaba/DataX/wiki/DataX%E6%8F%92%E4%BB%B6%E5%BC%80%E5%8F%91%E5%AE%9D%E5%85%B8

配置定时任务https://github.com/alibaba/DataX/wiki/%E9%85%8D%E7%BD%AE%E5%AE%9A%E6%97%B6%E4%BB%BB%E5%8A%A1%EF%BC%88Linux%E7%8E%AF%E5%A2%83%EF%BC%89

动态传入参数：https://github.com/alibaba/DataX/wiki/%E5%8A%A8%E6%80%81%E4%BC%A0%E5%85%A5%E5%8F%82%E6%95%B0

2.系统环境

• Linux、Windows
• JDK(1.8)
• Python(推荐Python2.6.X)
• Apache Maven 3.x (Compile DataX)

一、工具下载以及部署

• 方法一、直接下载DataX工具包(如果仅是使用，推荐直接下载)：DataX下载地址

  下载后解压至本地某个目录，修改权限为755，进入bin目录，即可运行样例同步作业：

  $ tar zxvf datax.tar.gz
  
  $ sudo chmod -R 755 {YOUR_DATAX_HOME}
  
  $ cd  {YOUR_DATAX_HOME}/bin
  
  $ python datax.py ../job/job.json

• 方法二、下载DataX源码，自己编译：DataX源码编译方法