java - 重复数据删除工作与Reducer中的预期不符

我有一个PersonDto对象，其中覆盖了equals()和hashCode()方法。

减速器中的主要代码：

Set<PersonDto> set = new HashSet()<>;
while(iterator.hasNext()){
   Record red= iterator.next();
   PersonDto dto = new PersonDto();
   dto.setName(red.getString("name"));
   dto.setAge(red.getBigInt("age"));
   set.add(dto);
}
for (PersonDto dto : set) {
   context.write(new Text(dto.getname()+","+dto.getAge()));
}

但是HDFS上的最终文件显示相同的记录仍然存在。
代码有什么问题？我应该使用地图密钥进行重复数据删除吗？

最佳答案

您是否有1个以上的减速器？如果是，则存在相同的Person对象在多个化简器中可用的可能性。在这种情况下，由于每个reducer都独立执行并写入HDFS，因此最终输出中可能会有重复的Person记录。