我的火花历史记录服务器有一些问题,因此尝试手动解压缩lz4
日志。我安装了liblz4-tool
并下载了应用程序日志application_1510049252849_0303.lz4
。但是当用lz4 ~/application_1510049252849_0303.lz4
解压缩时,出现以下错误:
Error 44 : Unrecognized header : file cannot be decoded
对于每个火花历史记录
lz4
文件,我都有这个。解决办法是什么?有没有办法手动打开它? 最佳答案
我昨天在尝试解压缩lz4事件日志时遇到了相同的错误。显然,hadoop lz4编解码器与其他lz4编解码器之间似乎不兼容:请参见https://issues.apache.org/jira/browse/HADOOP-12990。
值得一提的是,Spark历史记录服务器可以读取lz4中的压缩事件日志,因此您无需手动对其进行解压缩。希望这可以帮助。