我的火花历史记录服务器有一些问题,因此尝试手动解压缩lz4日志。我安装了liblz4-tool并下载了应用程序日志application_1510049252849_0303.lz4。但是当用lz4 ~/application_1510049252849_0303.lz4解压缩时,出现以下错误:

Error 44 : Unrecognized header : file cannot be decoded

对于每个火花历史记录lz4文件,我都有这个。解决办法是什么?有没有办法手动打开它?

最佳答案

我昨天在尝试解压缩lz4事件日志时遇到了相同的错误。显然,hadoop lz4编解码器与其他lz4编解码器之间似乎不兼容:请参见https://issues.apache.org/jira/browse/HADOOP-12990

值得一提的是,Spark历史记录服务器可以读取lz4中的压缩事件日志,因此您无需手动对其进行解压缩。希望这可以帮助。

10-05 18:28