有没有人有过编写从Hbase获取日期的Hadoop InputFormat / OutputFormat的经验?

我想要比HbaseTableInputFormat更具体的内容,因为我的想法是将我的业务对象直接返回到mapred程序。这意味着能够构建可以在多行之间分布的对象。

谢谢你的帮助
ch

最佳答案

您可能能够扩展RecordReader和/或FileInputFormat并实现您在其中执行的操作。也许扩展HbaseTableInputFormat并覆盖您需要其他行为的功能。(还没有使用HbaseTableInputFormat,所以不确定要做什么,只是想看看而已)

在我从事的项目中,我们必须扩展RecordReaderFileInputFormat才能处理WC3日志文件。原因是要确保每个映射器都可以访问 header ,而 header 仅位于文件的顶部,而不是每个块。

我没有进行扩展,也不确定您的确切情况,可能会(或无法)通过RecordReader和/或FileInputFormat扩展和实现不同的功能。

不幸的是,我不熟悉我想要的系统,这将使我无法提供进一步的建议。
希望我所说的话能使您进一步朝正确的方向发展。 :)

09-03 21:09