sqoop1.4.7完全支持Hadoop3.x, Hive3.x Hbase2.x

已经修改好保存至云盘自己下载花了时间的，记得关注我。。。
链接：https://pan.xunlei.com/s/VNe6P6Tm1A9Q-RG5GByN08rdA1#
提取码：5nke
复制这段内容后打开手机迅雷App，查看更方便

下载解压直接用，里面的内容已经改好
但是需要注意的是conf目录下的sqoop-env.sh里面的hadoop路径和hive路径改成自己的哟
sqoop1.4.7完全支持Hadoop3.x, Hive3.x Hbase2.x-LMLPHP

准备MySQL数据

登录MySQL数据库

mysql -u root -p123456;

创建student数据库

create database student;

切换数据库并导入数据

# mysql shell中执行
use student;
source /usr/local/soft/shujia/student.sql;
source /usr/local/soft/shujia/score.sql;

另外一种导入数据的方式

# linux shell中执行
mysql -uroot -p123456  student < /usr/local/soft/shujia/student.sql
mysql -uroot -p123456  student < /usr/local/soft/shujia/score.sql

使用Navicat运行SQL文件

导出MySQL数据库

mysqldump -u root -p123456 数据库名>任意一个文件名.sql

import

MySQLToHDFS

编写脚本，保存为MySQLToHDFS.conf

sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文件，然后使用另一个命令执行
第一种方式：
sqoop import \
--append \
--connect jdbc:mysql://master:3306/student \
--username root \
--password 123456 \
--table student \
--m 4 \
--split-by id \
--target-dir /shujia/bigdata25/sqoopdata/student1/ \
--fields-terminated-by '\t'

第二种方式：使用脚本文件的形式
import
--append
--connect
jdbc:mysql://master:3306/student
--username
root
--password
123456
--table
student
--m
1
--split-by
id
--target-dir
/shujia/bigdata25/sqoopdata/student2/
--fields-terminated-by
','

执行脚本

sqoop --options-file MySQLToHDFS.conf

注意事项：

1、--m 表示指定生成多少个Map任务，不是越多越好，因为MySQL Server的承载能力有限

2、当指定的Map任务数>1，那么需要结合--split-by参数，指定分割键，以确定每个map任务到底读取哪一部分数据，最好指定数值型的列，最好指定主键（或者分布均匀的列=>避免每个map任务处理的数据量差别过大）

3、如果指定的分割键数据分布不均，可能导致数据倾斜问题

4、分割的键最好指定数值型的，而且字段的类型为int、bigint这样的数值型

5、编写脚本的时候，注意：例如：--username参数，参数值不能和参数名同一行

--username root  // 错误的

// 应该分成两行
--username
root

6、运行的时候会报错InterruptedException，hadoop2.7.6自带的问题，忽略即可

21/01/25 14:32:32 WARN hdfs.DFSClient: Caught exception 
java.lang.InterruptedException
	at java.lang.Object.wait(Native Method)
	at java.lang.Thread.join(Thread.java:1252)
	at java.lang.Thread.join(Thread.java:1326)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:716)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:476)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:652)

7、实际上sqoop在读取mysql数据的时候，用的是JDBC的方式，所以当数据量大的时候，效率不是很高

8、sqoop底层通过MapReduce完成数据导入导出，只需要Map任务，不许需要Reduce任务 part-m-00000

9、每个Map任务会生成一个文件

MySQLToHive

编写脚本，并保存为MySQLToHive.conf文件

import
--connect
jdbc:mysql://master:3306/student
--username
root
--password
123456
--table
student
--m
2
--split-by
id
--fields-terminated-by
','
--hive-import
--hive-overwrite
--hbase-create-table
--hive-database
bigdata25sqoop
--hive-table
from_mysql_student1
--direct

执行脚本

sqoop --options-file MySQLToHive.conf

--direct

需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下

scp /usr/bin/mysqldump node01:/usr/bin/
scp /usr/bin/mysqldump node02:/usr/bin/

--e参数的使用

MySQLToHBase

编写脚本，并保存为MySQLToHBase.conf

在HBase中创建student表

create 'studentsq','cf1'

执行脚本

sqoop --options-file MySQLToHBase.conf

export

HDFSToMySQL

编写脚本，并保存为HDFSToMySQL.conf

先清空MySQL student表中的数据，不然会造成主键冲突

执行脚本

sqoop --options-file HDFSToMySQL.conf

查看sqoop help

sqoop help

21/04/26 15:50:36 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.

# 查看import的详细帮助
sqoop import --help

1、并行度不能太高，就是 -m
2、如果没有主键的时候，-m 不是1的时候就要指定分割字段，不然会报错，如果有主键的时候，-m 不是1 可以不去指定分割字段，默认是主键，不指定 -m 的时候，Sqoop会默认是分4个map任务。

Sqoop 在从HDFS中导出到关系型数据库时的一些问题

问题一：

在上传过程中遇到这种问题：

ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: No columns to generate for ClassWriter