本文介绍了仅使用PigLatin在Pig中使用不同的分隔符加载非结构化数据的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我正尝试仅使用PigLatin将以下数据(包含不同的定界符，并且是非结构化的)加载到Pig中，而无需使用Java即准备数据.
Hi I am trying to load the following data (inculdes different delimiters and is unstructered) into Pig using PigLatin only, without preparing the data with i.e. Java.
输入:
1234 #one,#two,#three
5679 #one,#two
1234 #one
输出我想要的内容
1234 #one
1234 #two
1234 #three
5678 #one
5678 #two
1234 #one
有什么想法吗?猪甚至有可能吗?提前非常感谢！
Any ideas? Is this even possible in Pig? Thanks a lot in advance!
推荐答案
猪脚本:
A = LOAD 'a.csv' AS USING PigStorage(' ') (key:chararray, value:chararray);
B = FOREACH A GENERATE key, FLATTEN(TOKENIZE(value, ','));
DUMP B;
输入:a.csv:
1234 #one,#two,#three
5679 #one,#two
1234 #one
输出:DUMP B:
(1234,#one)
(1234,#two)
(1234,#three)
(5679,#one)
(5679,#two)
(1234,#one)
这篇关于仅使用PigLatin在Pig中使用不同的分隔符加载非结构化数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！