一、Azkaban概述
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性问题。
我们有需要按顺序运行的工作，从ETL工作到数据分析产品。
特点：
1）给用户提供了一个非常友好的可视化界面->web界面
2）非常方便的上传工作流-》打成压缩包
3）设置任务间的关系
4）权限设置-》删库到跑路
5）模块化
6）随时停止和启动任务
7）可以查看日志记录 二、与Oozie对比
和Oozie相对比，azkaban是一个轻量级调度工具。
企业应用的功能并非小众的功能可以使用Azkaban。
1）功能
两个任务流调度器可以调度使用mr,java,脚本工作流任务
都可以进行定时调度...
2）使用
az直接传参
Oozie直接传参，支持EL表达式...
3）定时
az定时执行任务基于时间
Oozie任务基于时间和数据
4）资源
az有严格的权限控制
Oozie无严格权限控制 三、Azkaban安装部署
1、准备工作
1）快照
2）上传安装包
Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz
Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz cd /root/hd
mkdir azkaban
上传安装包到/root/hd/azkaban目录下
3)解压重命名
cd /root/hd/azkaban/
解压
tar -zxvf azkaban-web-server-2.5.0.tar.gz
tar -zxvf azkaban-executor-server-2.5.0.tar.gz
tar -zxvf azkaban-sql-script-2.5.0.tar.gz
删除安装包
rm -f azkaban-executor-server-2.5.0.tar.gz
rm -f azkaban-web-server-2.5.0.tar.gz
rm -f azkaban-sql-script-2.5.0.tar.gz
重命名
mv azkaban-executor-2.5.0/ executor
mv azkaban-web-2.5.0/ server
4)mysql中azkaban脚本导入
create database azkaban;
use azkaban;
source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql 2、安装部署
1）创建SSL(安全连接)配置
服务器需要一个证书
cd /root/hd/azkaban/server
keytool -keystore keystore -alias jetty -genkey -keyalg RSA [root@hd09-1 server]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令: 123456（密码是看不见的）
再次输入新口令: 123456
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的省/市/自治区名称是什么?
[Unknown]:
该单位的双字母国家/地区代码是什么?
[Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN是否正确?
[否]: 是 输入 <jetty> 的密钥口令 123456
(如果和密钥库口令相同, 按回车):
[root@hd09-1 server]# 2）时间同步设置
生成时区文件
tzselect生成
5->9->1->yes 拷贝时区文件
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
集群时间同步
crt中开启交互窗口 发送
sudo date -s '2018-11-29 20:22:39' 3）修改配置文件 azkaban.properties
cd /root/hd/azkaban/server/conf
vi azkaban.properties #Azkaban Personalization Settings
azkaban.name=Test #服务器 UI 名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI 颜色
azkaban.default.servlet.path=/index
web.resource.dir=/root/hd/azkaban/server/web/ #默认根 web 目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国 #Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=/root/hd/azkaban/server/conf/azkaban-users.xml #用户配置 #Loader for projects # global 配置文件所在位置
executor.global.properties=/root/hd/azkaban/executor/conf/global.properties
azkaban.project.dir=projects database.type=mysql #数据库类型
mysql.port= #端口号
mysql.host=hd09-1 #数据库连接 IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数 # Velocity dev mode
velocity.dev.mode=false # Jetty 服务器属性 # Azkaban Jetty server properties.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL 端口
jetty.port=8081 #Jetty 端口
jetty.keystore=/root/hd/azkaban/server/keystore #SSL 文件名
jetty.password= #SSL 文件密码
jetty.keypassword= #Jetty 主密码 与 keystore 文件相同
jetty.truststore=/root/hd/azkaban/server/keystore #SSL 文件名
jetty.trustpassword= # SSL 文件密码 # Azkaban Executor settings # 执行服务器属性
executor.port=12321 #执行服务器端口 # mail settings
mail.sender= #发送邮箱
mail.host= #发送邮箱 smtp 地址
job.failure.email= #任务失败时发送邮件的地址
job.success.email= #任务成功时发送邮件的地址 lockdown.create.projects=false cache.directory=cache #缓存目录 4）修改配置文件 azkaban-users.xml
vi azkaban-users.xml <azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics"/>
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users> 5）修改配置文件 azkaban.properties
cd /root/hd/azkaban/executor/conf
vi azkaban.properties #Azkaban
default.timezone.id=Asia/Shanghai #时区 # Azkaban JobTypes Plugins #插件配置，插件所在位置
azkaban.jobtype.plugin.dir=/root/hd/azkaban/executor/plugins/jobtypes #Loader for projects
executor.global.properties=/root/hd/azkaban/executor/conf/global.properties
azkaban.project.dir=projects
#数据库设置
database.type=mysql #数据库类型(目前只支持 mysql)
mysql.port=3306 #数据库端口号
mysql.host=hd09-1 #数据库 IP 地址
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数 # Azkaban Executor settings # 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与 web 服务中一致)
executor.flow.threads=30 #线程数 6）启动web服务器
cd /root/hd/azkaban/server
bin/azkaban-web-start.sh 7）启动执行器
cd /root/hd/azkaban/executor
bin/azkaban-executor-start.sh 8）访问web
https://hd09-1:8443
打开谷歌或是火狐浏览器输入https://IP:8443，此处测试的地址是https://hd09-1:8443，此时可能会打不开界面，点击高级
点击继续前往hd09-1（不安全）
此时会跳到登录界面，输入在配置文件azkaban-users.xml，中配置的用户名密码admin/admin，点击登录即可 9）配置环境变量
vi /etc/profile 在最后面加上
#Azkaban
export AZKABAN_WEB_HOME=/root/hd/azkaban/server
export AZKABAN_EXE_HOME=/root/hd/azkaban/executor
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin 执行 source /etc/profile 声明环境变量
此时就可以直接输入
azkaban-web-start.sh
azkaban-executor-start.sh
启动azkaban了。 四、应用
下面的#后面的是文件名，把每个任务的文件打成zip压缩包后传到azkaban页面中的project中即可执行任务。
1、command类型单一任务案例
# command.job
type=command
command=echo 'hello world' 2、command类型多个任务案例
# f.job
type=command
command=echo 'hello' # b.job
type=command
dependencies=f
command=echo 'world' 3、azkaban操作HDFS任务
# hdfs.job
type=command
command=/root/hd/hadoop-2.8.4/bin/hdfs dfs -mkdir /azkaban 4、azkaban启动集群任务
# start.job
type=command
command=/root/hd/hadoop-2.8.4/sbin/start-dfs.sh 5、azkaban启动MapReduce程序
# wc.job
type=command
command=/root/hd/hadoop-2.8.4/bin/hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /azwc/in /azwc/out 6、azkaban启动Hive程序
# hive.job
type=command
command=/root/hd/hive/bin/hive -f 'azhive.sql' # azhive.sql
use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/azdata/user.txt' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/azdata/userout' select count(1) from aztest;