下面的代码运行良好,但是当我已经有两个现有的包时(使用它们的别名,假设S1和S2代表两个存在于两个集合中的两个现有包),想知道如何调用UDF setDifference来生成集合差异吗?我认为,如果使用已经存在的输入包(S1和S2)手动构造一个额外的包,会产生额外的开销吗?

register datafu-1.2.0.jar;
define setDifference datafu.pig.sets.SetDifference();

-- ({(3),(4),(1),(2),(7),(5),(6)} \t {(1),(3),(5),(12)})
A = load 'input.txt' AS (B1:bag{T:tuple(val:int)},B2:bag{T:tuple(val:int)});

F1 = foreach A generate B1;
F2 = foreach A generate B2;

differenced = FOREACH A {
  -- input bags must be sorted
  sorted_b1 = ORDER B1 by val;
  sorted_b2 = ORDER B2 by val;
  GENERATE setDifference(sorted_b1,sorted_b2);
}

-- produces: ({(2),(4),(6),(7)})
DUMP differenced;

更新:

问题是,假设我已经有两个袋子,如何调用UDF setDifference来获得集合差异?我是否需要构建另一个包含两个单独袋子的 super 袋子?谢谢。

提前致谢,

最佳答案

我看不到UDF调用有任何开销问题。

引用:http://datafu.incubator.apache.org/docs/datafu/guide/set-operations.html,我们有一个使用SetDifference方法的示例。

根据API(http://datafu.incubator.apache.org/docs/datafu/1.2.0/datafu/pig/sets/SetDifference.html),SetDifference方法将bag作为输入并发出它们之间的差异。

N.B.请注意,输入袋必须分类。

在共享的示例代码段中,我看不到以下代码段的需要

F1 = foreach A generate B1;
F2 = foreach A generate B2;

10-08 17:17