本文介绍了自定义输入格式来处理hadoop 0.20中的protobufs的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我想用hadoop处理protobufs ....但我不确定从哪里开始。
我不在乎分裂大文件。
protobufs存储为二进制数据...我应该扩展哪些类以使其更容易
解决方案
可以使用hadoop处理protobufs。该框架与常规protobuf类一起生成hadoop I / O类。它使用lzo压缩。
I'd like to process protobufs using hadoop....but am unsure where to start.I don't care about splitting large files.The protobufs are stored as binary data...what class should I extend to make it easier
解决方案
elephant-bird can process protobufs using hadoop. This framework generates hadoop I/O classes along with regular protobuf classes. It uses lzo compression.
这篇关于自定义输入格式来处理hadoop 0.20中的protobufs的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!