hadoop - Hadoop和 hive 优化

我在以下情况下需要帮助:

1)备注表是配置单元中的源表。
它有5493656359条记录，其描述如下:

load_ts timestamp
memo_ban bigint
memo_id bigint
sys_creation_date timestamp
sys_update_date timestamp
operator_id bigint
application_id varchar(6)
dl_service_code varchar(5)
dl_update_stamp bigint
memo_date timestamp
memo_type varchar(4)
memo_subscriber varchar(20)
memo_system_txt varchar(180)
memo_manual_txt varchar(2000)
memo_source varchar(1)
data_dt string
market_cd string

Partition information:
data_dt string
market_cd string

2)

这是目标表

CREATE TABLE IF NOT EXISTS memo_temprushi (
load_ts TIMESTAMP,
ban BIGINT,
attuid BIGINT,
application VARCHAR(6),
system_note INT,
user_note INT,
note_time INT,
date TIMESTAMP)
PARTITIONED BY (data_dt  STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY");

3)

这是从源表Memo到
目标表memo_temprushi。加载直到2015年12月14日的所有记录:

SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
INSERT INTO TABLE memo_temprushi PARTITION (DATA_DT)
SELECT LOAD_TS,MEMO_BAN, OPERATOR_ID, APPLICATION_ID,
CASE WHEN LENGTH(MEMO_SYSTEM_TXT)=0 THEN 0 ELSE 1 END,
CASE WHEN LENGTH(MEMO_MANUAL_TXT)=0 THEN 0 ELSE 1 END,
HOUR(MEMO_DATE), MEMO_DATE, DATA_DT
FROM tlgmob_gold.MEMO WHERE LOAD_TS < DATE('2015-12-15');

4)

对于增量负载，我想插入其余记录，即从2015-12-15开始。我正在使用以下查询:

INSERT INTO TABLE memo_temprushi PARTITION (DATA_DT)
SELECT MS.LOAD_TS,MS.MEMO_BAN, MS.OPERATOR_ID, MS.APPLICATION_ID,
CASE WHEN LENGTH(MS.MEMO_SYSTEM_TXT)=0 THEN 0 ELSE 1 END,
CASE WHEN LENGTH(MS.MEMO_MANUAL_TXT)=0 THEN 0 ELSE 1 END,
HOUR(MS.MEMO_DATE), MS.MEMO_DATE, MS.DATA_DT
FROM tlgmob_gold.MEMO MS JOIN (select max(load_ts) max_load_ts from memo_temprushi) mt
ON 1=1
WHERE
ms.load_ts > mt.max_load_ts;

它推出2个工作。最初，它会发出有关阶段性交叉产品的警告。
第一份工作很快就完全得到了，但第二份工作仍然停留在减少33％的位置。
日志显示:[用于获取 map 完成事件的EventFetcher] org.apache.hadoop.mapreduce.task.reduce.EventFetcher:EventFetcher被中断。
它显示 reducer 的数量是1。
通过此命令集mapreduce.job.reduces尝试增加 reducer 的数量，但是它不起作用。

谢谢

最佳答案

你可以试试看

运行“从memo_temprushi中选择max(load_ts)max_load_ts”

在查询的where条件中添加值，并删除查询的联接条件。

如果可行，则可以开发shell脚本，在该脚本中，第一个查询将获得最大值，然后在没有连接的情况下运行第二个查询。

这是示例shell脚本。

max_date=$(hive -e "select max(order_date) from orders" 2>/dev/null)

hive -e "select order_date from orders where order_date >= date_sub('$max_date', 7);"