hadoop - 与Pig Apache联手后难以制作手袋

我需要对部分数据进行非规范化。我有一些数据donnees_porteur(JSON)，我想在其中集成donnees_enfant(CSV)

donnees_enfant = LOAD '/user/cloudera/enfn.csv' USING PigStorage(';') AS (NUM_CART_enf,NUM_ENFN,ANNEES_NAIS);
donnees_porteur = LOAD '/user/cloudera/part*' USING JsonLoader();

编辑:

    donnees_porteur: {
Id: bytearray,
Infos: (cod_civl: bytearray,lb_civl: bytearray,nom: bytearray,prnm: bytearray,age: bytearray),
Geo: (cod_regn: bytearray,cod_depr: bytearray,cod_comm: bytearray,cp: bytearray,lb_comm: bytearray,cod_npai: bytearray,dt_npai: bytearray,email: bytearray),
Socio: (nb_enf: bytearray,cod_socio: bytearray,lb_socio: bytearray,cod_socio_conj: bytearray,lb_socio_conj: bytearray,cod_sit_faml: bytearray,lb_sit_faml: bytearray),
Segm: {(cod_segm: bytearray,cod_typ_segm: bytearray,dat_deb: bytearray,dat_fin: bytearray)}}

-我做了门童和婴儿之间的联结(基数1，n):

test= FOREACH
    (JOIN donnees_porteur BY Id LEFT, donnees_enfant BY NUM_CART_enf)
    GENERATE donnees_porteur::Id AS ID,
    {(donnees_enfant::NUM_CART_enf,donnees_enfant::NUM_ENFN)} AS ENFANT:{(id_enf,numero)};

-我分组以仅将一名门童的所有婴儿排成一排

test2 = GROUP test BY ID;

-我得到了一个行李箱，每个行李箱都有一个婴儿。因此，我需要重建线。我尝试:

test3= FOREACH test2 GENERATE test;

但这不好

结果测试2:

(0,{(0,{(0,2)}),(0,{(0,3)}),(0,{(0,1)})})
(1,{(1,{(1,3)}),(1,{(1,1)}),(1,{(1,2)})})
(2,{(2,{(2,1)}),(2,{(2,2)})})

但我想获取:

(0,({(0,2),(0,3),(0,1)}))
(1,({(1,3),(1,1),(1,2)}))
(2,({(2,1),(2,2)}))

你能帮助我吗 ？

编辑:

我发布了一个“简单”的例子来说明我的问题。

这是真正的测试:

denorm2 = FOREACH (JOIN donnees_porteur BY Id LEFT, donnees_enfant BY NUM_CART_enf) GENERATE donnees_porteur::Id AS ID,
    donnees_porteur::Infos AS INFOS,
    donnees_porteur::Geo AS Geo,
    donnees_porteur::Segm AS Segm,
    {(donnees_enfant::NUM_CART_enf,donnees_enfant::NUM_ENFN)} AS ENFANT:{(id_enf,numero)};

以ID作为字段，
INFOS，GEO，作为元组，
Segm像ENFANT这样的包

最佳答案

test3 = FOREACH test2生成$ 0，$ 1.ENFANT;

test3将具有该组，并且只有ENFANT部分

关于hadoop - 与Pig Apache联手后难以制作手袋，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25379571/