如何为 pig 脚本自定义HbaseStorage?实际上,我想在将数据加载到Pig脚本之前对数据执行一些业务逻辑。就像在HbaseStorage之上的自定义存储一样。

例如,我的行键具有类似A_B_C的结构。当前,我在我的Pig脚本中的HbaseStorage中传递了A_B_C键,但是我想在将输入数据提供给实际的Pig脚本之前对诸如A_B_C_D的键执行一些过滤等逻辑。这怎么可能

最佳答案

您可能最终不得不查看HBaseStorage java类并基于该类实现自己的类。取决于编写HBaseStorage和相关类的方式,这可能从简单(只需扩展HBaseStorage本身并在必要时覆盖)到真正令人头疼。

然后,您必须确保包含代码的.jar位于Pig类路径上。

关于hadoop - Pig HbaseStorage定制,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/20150399/

10-11 07:57