我正在使用Hortonworks的沙盒VM运行Hadoop服务。我以Pig模式执行了Tez过滤器脚本。与Hive不同，Pig日志(控制台)不显示有关正在执行的映射器和化简器数量的任何信息。我在找错地方了吗？
最佳答案
在Tez模式下运行时，它没有Mapper或Reducer。 Tez使用任务的DAG(有向无环图)来处理数据。因此，映射器/缩小器将替换为顶点和边。如果您使用的是Ambari，它将提供“Tez View ”以获取有关该作业的更多详细信息。此外，您可能可以启用/安装Tez UI(https://tez.apache.org/tez-ui.html)以查看该信息。
关于hadoop - 识别在Pig脚本中启动的Mappers和Reducers的数量，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/40538814/