WebHDFS不支持SequenceFiles
吗?
我找不到任何说明的内容。我遇到了通常的小文件问题,并且相信SequenceFiles
可以很好地工作,但是我需要使用WebHDFS。我需要创建然后通过WebHDFS附加到SequenceFile
。
最佳答案
我认为是真的没有Web API可以附加到序列文件。
但是,您可以附加二进制数据,并且如果序列文件未进行块压缩,则应该可以在客户端上进行相对较少的格式化操作。您可以通过在客户端上的序列文件编写器上运行输入,然后使用输出进行上传(整个文件或代表自上次追加以来的增量的 slice )来完成此操作。
您可以阅读有关序列文件格式here的更多信息。
关于hadoop - WebHDFS和SequenceFiles,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/22000177/