java - JIS X 0208转换:如何处理统一(合并)的代码点

我正在尝试将Java字符转换为JIS X 0208“ x-JIS0208”编码（或任何兼容的字符，例如EUC-JP，但不兼容Shift-JIS），但我希望正确处理统一（合并）的代码点。

例如，将高分配给this JISX0208 chart中第25行的第66列，并将相似字符while分类为未分配的代码点，将其与前者合并。我从维基百科引用：“ []（高）形式和较不常见的梯形结构（髙）都包含在同一代码点中”。

我在下面的代码中尝试了此方法，无论我尝试使用哪种编码，总是会遇到异常或未分配的字符占位符?（ASCII或全角）。

有没有一种方法，也许是不同的结尾或完全不同的转换方法，所以这两个字符都返回相同的代码点？另外，是否有API可以找到此类字符，以便在转换之前可以合并它们？

static Charset      charset1    = Charset.forName("x-JIS0208");
static Charset      charset2    = Charset.forName("EUC-JP");
static Charset[]    charsets    = {charset1, charset2};

static CharBuffer   in          = CharBuffer.allocate(1);

public static void main(String[] args) throws Exception
{
    CharsetEncoder[] encoders = new CharsetEncoder[charsets.length];
    for (int i = 0; i < charsets.length; i++)
        encoders[i] = charsets[i].newEncoder();

    char[] testChars = {'　', 'Ａ', '？', '亜', '唖', '蔭', '高', '髙'};

    for (char ch : testChars)
    {
        System.out.print("'" + ch + "'\t(" + Integer.toHexString(ch) + ")\t=");

        for (int i = 0; i < charsets.length; i++)
        {
            System.out.print("\t" + interpret(encode1(encoders[i], ch)));
            System.out.print("\t" + interpret(encode2(charsets[i], ch)));
        }
        System.out.println();
    }
}

private static String interpret(int i)
{
    if (i == -1)
        return "excepti";
    if (i < 0x80)
        return "'" + (char)i + "'";
    return Integer.toHexString(i);
}

private static int encode1(CharsetEncoder encoder, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    try
    {
        ByteBuffer out = encoder.encode(in);

        if (out.limit() == 1)
            return out.get(0) & 0xFF;
        return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
    }
    catch (CharacterCodingException e)
    {
        return -1;
    }
}

private static int encode2(Charset charset, char ch)
{
    in.rewind();
    in.put(ch);
    in.rewind();

    ByteBuffer out = charset.encode(in);

    if (out.limit() == 1)
        return out.get(0) & 0xFF;
    return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
}

输出：

'　' (3000)  =   2121    2121    a1a1    a1a1
'Ａ' (ff21)  =   2341    2341    a3c1    a3c1
'？' (ff1f)  =   2129    2129    a1a9    a1a9
'亜' (4e9c)  =   3021    3021    b0a1    b0a1
'唖' (5516)  =   3022    3022    b0a2    b0a2
'蔭' (852d)  =   307e    307e    b0fe    b0fe
'高' (9ad8)  =   3962    3962    b9e2    b9e2
'髙' (9ad9)  =   excepti 2129    excepti '?'

注意：我只对转换单个字符感兴趣，而不是字符串或流，所以我实际上更喜欢另一种方法（如果存在），该方法不会为每次转换分配ByteBuffer。

最佳答案

不包含在JIS X 0208中，而是包含在Microsoft Windows代码页932（MS932）中。这是Shift JIS编码的变体，并且是JIS X 0208字符集的超集。
您应该为MS932使用名称“ Windows-31j”，例如：

Charset.forName("Windows-31j");

而不是Charset.forName("x-JIS0208");。

编辑

像𨦇和铗（剪刀）这样的某些字符的映射表是从日本政府分发的，例如National Tax Agency（请参见JIS縮退マップ（Ver.1.0.0））。
但是这些映射表不包含字符髙。我认为这是因为髙不包含在JIS X 0208和JIS X 0213中。

因此，我认为您将必须手动将髙替换为高（使用String#replaceAll()），或者使用Charset制作自己的自定义CharsetProvider。

jis

java - JIS X 0208转换:如何处理统一(合并)的代码点