假设我在apache pig中输入以下内容:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

我想将这两行转换为以下7行:
(123, (1, 2) )
(123, (3, 4) )
(666, (8, 9) )
(666, (10, 11) )
(666, (3, 4) )

也就是说,这有点像“与组相反”。 pig 拉丁有可能吗?

最佳答案

看看 FLATTEN 。它可以满足您的需求。

但是,使用上面的符号,看起来元组列表是一个元组。这应该是一个可以正常使用的袋子。

代替:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

您应该将数据表示为:
(123, { (1, 2), (3, 4) } )
(666, { (8, 9), (10, 11), (3, 4) } )

然后,一旦是这种形式,您可以执行以下操作:
O = FOREACH grouped GENERATE $0, FLATTEN($1);

关于hadoop - 与Apache pig 拉丁中的GROUP相对?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/8839132/

10-11 11:15