存在的问题:当把hql写到shell中,不方便阅读;但把hql写到文件中,又传递不了参数;怎么办呢?

自定义hivefile

执行方式形如:

第一个参数为要执行的hql文件,后续的参数为要替换的key-value对。

hivefile d:/hivefile_test.hql -date "2013-01-01" -name "luogk"

 

hivefile思路分析:

本案例脚本和代码均放置在/home/spark/software/hivefile路径下,lib包放在/home/spark/lib下

1、将hql脚本放置在单独的脚本中:hivefile_test.hql

select a.id,sum(b.amount) from city a join sale_order b on a.id=b.city_id where b.amount > {$amount} group by a.id

2、创建shell脚本:hivefile_test.sql,在sh脚本中通过hivefile调用hql文件,并传递进去要替换的参数键值对

#!/bin/bash
. ~/.bash_profile
cd /home/spark/software/hivefile
hivefile ./hivefile_test.hql -amount

3、创建hivefile脚本

. ~/.bash_profile
sql=`java -jar /home/spark/lib/hivefile.jar $*`  #$*用于传递参数
echo "$sql"
hive -e "$sql"

4、hivefile做要的事情

  1)获取到hive -e命令行的参数,形如:c:/hive_test.hql -date "2013-01-01" ;

  2)解析参数,解析规则为:第一个参数为sql文件名,从第二个参数开始要替换的变量名采用"-"开头,紧跟着的是该变量名的值,一次类推;

  3)java代码获取到文件名,读取该文件的内容,并使用值去替换掉文件中的占位符变量名;

  4)将替换后的文件内容交给hive -e 去执行;

5、执行hivefile_test.sh

cd /home/spark/software/hivefile
hivefile_test.sh

6、为了使用hivefile脚本更加方便,将hivefile脚本封装到~/.bash_profile中去,使得在任意位置都可以执行hivefile命令,在path中添加hivefile的路径:

export PATH=.:/home/spark/software/hivefile

添加到环境变量后,就可以在任意路径下执行hivefile命令,形如:

hivefile /home/spark/software/hivefile/hivefile_test.hql -amount 
05-04 07:40