我需要改善我的MR工作,我想到的一件事是实现自定义的rawComparator,但是我的键类除了一些int字段外,还有很多字段作为字符串,我不确定如何从byte []中解析出字符串字段。 ,
我的重点课
public GeneralKey {
private int day;
private int hour;
private String type;
private String name;
..
}
我自定义的rawComparator:
public class GeneralKeyComparator extends WritableComparator {
private static final Text.Comparator TEXT_COMPARATOR = new Text.Comparator();
protected GeneralKeyComparator() {
super(GeneralKey.class);
}
@Override
public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
int day1 = readInt(b1, s1);
int day2 = readInt(b2, s2);
int comp = (intDay1 < intDay2) ? -1 : (intDay1 == intDay2) ? 0 : 1;
if (0 != comp) {
return comp;
}
int hr1 = readInt(b1, s1+4);
int hr2 = readInt(b2, s2+4);
comp = (hr1 < hr2) ? -1 : (hr1 == hr2) ? 0 : 1;
.... how to compare the String fields here???
return comp;
}
我周围的谷歌发现人们尝试了这个:
try {
int firstL1 = WritableUtils.decodeVIntSize(b1[s1]) + readInt(b1, s1+8);
int firstL2 = WritableUtils.decodeVIntSize(b2[s2]) + readVInt(b2, s2+8);
comp = TEXT_COMPARATOR.compare(b1, s1, firstL1, b2, s2, firstL2);
} catch (IOException e) {
throw new IllegalArgumentException(e);
}
但我不了解这项工作的方式,也不认为就我而言,有人可以提供帮助吗?谢谢
在此处添加了readField()和write()方法:
public void readFields(DataInput input) throws IOException {
intDay = input.readInt();
hr = input.readInt();
type = input.readUTF();
name = input.readUTF();
...
}
@Override
public void write(DataOutput output) throws IOException {
output.writeInt(intDay);
output.writeInt(hr);
output.writeUTF(type);
output.writeUTF(name);
...
}
最佳答案
你是对的。您找到的示例不适用于您。该示例的键中的数据字段为WritableComparables。您可以使用基本类型(int,String)。
当您使用基本类型时,我假设您已经为自定义键类型实现了序列化/反序列化方法。
对于Java字符串的第三个和第四个数据字段,您应该能够在String类上使用compareTo方法。
另一种选择是使用WritableComparables而不是使用基本类型,并使用与Google示例相同的技术。
关于hadoop - 实现定制的rawcomparator,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/18500038/