当您从他们的网站下载Apache Crunch(作为源代码提供)时,它没有基于它的相关MapReduce类。两个问题:

1-这怎么可能? Apache Crunch是MapReduce之上的抽象。它为什么不与MapReduce类一起打包?

2-使用Apache Crunch开发需要做什么?我需要分别下载Crunch和MapReduce吗?如果是这样,我怎么知道要匹配Crunch版本需要哪个MapReduce版本?

最佳答案

我只是在Apache Crunch中寻找Mapreduce类

我确实进行了随机检查,但这些类似乎都没有扩展hadoop类,而是像下面这样

静态函数,用于与在Crunch管道中包含在org.apache.hadoop.mapred。*包下的旧版Mappers和Reducer一起使用。

您使用的是0.6或更早版本吗?

关于java - Apache Crunch是否随附Hadoop MapReduce API?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31195172/

10-11 02:51