java - 关于CharMatcher.WHITESPACE实现

当我查找CharMatcher的实现并注意到字段WHITESPACE_MULTIPLIER=1682554634时，我将此值设置为1582554634，并运行测试用例CharMatcherTest#testWhitespaceBreakingWhitespaceSubset，当然会失败。

之后，我将testWhitespaceBreakingWhitespaceSubset更改为仅调用WHITESPACE.apply((char)c)而不声明，在WHITESPACE.matches方法中打印索引

int index=(WHITESPACE_MULTIPLIER * c) >>> WHITESPACE_SHIFT)

最终发现将WHITESPACE_MULTIPLIER从1682554634更改为1582554634后，索引发生冲突

毫无疑问，1682554634设计得很好，我的问题是如何推断这个“魔术数”？

在Martin Grajcar's proposal上，我尝试如下编写“魔术数发生器”并工作：

char[] charsReq = WHITESPACE_TABLE.toCharArray();
Arrays.sort(charsReq);
OUTER:
for (int WHITESPACE_MULTIPLIER_WANTTED = 1682553701; WHITESPACE_MULTIPLIER_WANTTED <= 1682554834; WHITESPACE_MULTIPLIER_WANTTED++) {
    int matchCnt = 0;
    for (int c = 0; c <= Character.MAX_VALUE; c++) {
        int position = Arrays.binarySearch(charsReq, (char) c);
        char index = WHITESPACE_TABLE.charAt((WHITESPACE_MULTIPLIER_WANTTED * c) >>> WHITESPACE_SHIFT);
        if (position >= 0 && index == c) {
                matchCnt++;
        } else if (position < 0 && index != c) {
                matchCnt++;
        } else {
            continue OUTER;
        }
    }
    // all valid
    if ((matchCnt - 1) == (int) (Character.MAX_VALUE)) {
        System.out.println(WHITESPACE_MULTIPLIER_WANTTED);
    }
}

如果更改了WHITESPACE_TABLE中的字符序列（交换\ u2001 \ u2002位置），则算法无解（将循环结束条件更改为Integer.MAX_VALUE）。


因为IntMath.gcd实现是指http://en.wikipedia.org/wiki/Binary_GCD_algorithm
我的问题是：在哪里可以找到CharMatcher.WHITESPACE.match实现的材料？

最佳答案

我不确定生成器是否仍然存在，但是可以很容易地重新创建它。类Result包含implementation of CharMatcher.WHITESPACE中使用的数据：

static class Result {
    private int shift;
    private int multiplier;
    private String table;
}

// No duplicates allowed.
private final String allMatchingString = "\u2002\r\u0085\u200A\u2005\u2000"
        + "\u2029\u000B\u2008\u2003\u205F\u1680"
        + "\u0009\u0020\u2006\u2001\u202F\u00A0\u000C\u2009"
        + "\u2004\u2028\n\u2007\u3000";

public Result generate(String allMatchingString) {
    final char[] allMatching = allMatchingString.toCharArray();
    final char filler = allMatching[allMatching.length - 1];
    final int shift = Integer.numberOfLeadingZeros(allMatching.length);
    final char[] table = new char[1 << (32 - shift)];
    OUTER: for (int i=0; i>=0; ++i) {
        final int multiplier = 123456789 * i; // Jumping a bit makes the search faster.
        Arrays.fill(table, filler);
        for (final char c : allMatching) {
            final int index = (multiplier * c) >>> shift;
            if (table[index] != filler) continue OUTER; // Conflict found.
            table[index] = c;
        }
        return new Result(shift, multiplier, new String(table));
    }
    return null; // No solution exists.
}

它生成另一个乘数，但这无关紧要。

如果对于给定的allMatchingString不存在解决方案，则可以递减移位并重试。