我已经将一堆 .gz 文件加载到 HDFS 中,当我在它们之上创建一个原始表时,我在计算行数时看到了奇怪的行为。将 gz 表中的 count(*) 的结果与未压缩表的结果进行比较,会产生约 85% 的差异。压缩了文件 gz 的表的记录较少。有没有人看到这个?
CREATE EXTERNAL TABLE IF NOT EXISTS test_gz(
col1 string, col2 string, col3 string)
ROW FORMAT DELIMITED
LINES TERMINATED BY '\n'
LOCATION '/data/raw/test_gz'
;
select count(*) from test_gz; result 1,123,456
select count(*) from test; result 7,720,109
最佳答案
我能够解决这个问题。不知何故,gzip 文件没有在 map/reduce 作业(hive 或自定义 java map/reduce)中完全解压。 Mapreduce 作业只会读取大约 450 MB 的 gzip 文件并将数据写出到 HDFS,而不会完全读取 3.5GZ 文件。奇怪,一点错误都没有!
由于文件是在另一台服务器上压缩的,我手动解压缩它们并在 hadoop 客户端服务器上重新压缩它们。之后,我将新压缩的 3.5GZ 文件上传到 HDFS,然后 hive 能够完整统计读取整个文件的所有记录。
马尔钦
关于hadoop - Hive gzip 文件解压,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/14614126/