java - 在HIDDEN channel 中遍历 token

我目前正在为自定义，非常像lua的脚本语言MobTalkerScript（MTS）创建IDE，该语言为我提供了ANTLR4 lexer。由于MTS语言文件中的规范将注释放入HIDDEN_CHANNEL通道，因此我需要告诉词法分析器实际上是从HIDDEN_CHANNEL通道读取的。这就是我试图做到的方式。

Mts3Lexer lexer = new Mts3Lexer(new ANTLRInputStream("<replace this with the input>"));
lexer.setTokenFactory(new CommonTokenFactory(false));
lexer.setChannel(Token.HIDDEN_CHANNEL);

Token token = lexer.emit();
int type = token.getType();

do {
    switch(type) {
        case Mts3Lexer.LINE_COMMENT:
        case Mts3Lexer.COMMENT:
            System.out.println("token "+token.getText()+" is a comment");
        default:
            System.out.println("token "+token.getText()+" is not a comment");
    }
} while((token = lexer.nextToken()) != null && (type = token.getType()) != Token.EOF);

现在，如果我在以下输入中使用此代码，则除了token ... is not a comment之外，什么都不会打印到控制台。

function foo()
    -- this should be a single-line comment
    something = "blah"
    --[[ this should
         be a multi-line
         comment ]]--
end

但是，包含注释的标记永远不会显示。因此，我搜索了此问题的根源，并在ANTLR4 Lexer类中找到了以下方法：

/** Return a token from this source; i.e., match a token on the char
 *  stream.
 */
@Override
public Token nextToken() {
    if (_input == null) {
        throw new IllegalStateException("nextToken requires a non-null input stream.");
    }

    // Mark start location in char stream so unbuffered streams are
    // guaranteed at least have text of current token
    int tokenStartMarker = _input.mark();
    try{
        outer:
        while (true) {
            if (_hitEOF) {
                emitEOF();
                return _token;
            }

            _token = null;
            _channel = Token.DEFAULT_CHANNEL;
            _tokenStartCharIndex = _input.index();
            _tokenStartCharPositionInLine = getInterpreter().getCharPositionInLine();
            _tokenStartLine = getInterpreter().getLine();
            _text = null;
            do {
                _type = Token.INVALID_TYPE;
                // System.out.println("nextToken line "+tokenStartLine+" at "+((char)input.LA(1))+
                // " in mode "+mode+
                // " at index "+input.index());
                int ttype;
                try {
                    ttype = getInterpreter().match(_input, _mode);
                }
                catch (LexerNoViableAltException e) {
                    notifyListeners(e);     // report error
                    recover(e);
                    ttype = SKIP;
                }
                if ( _input.LA(1)==IntStream.EOF ) {
                    _hitEOF = true;
                }
                if ( _type == Token.INVALID_TYPE ) _type = ttype;
                if ( _type ==SKIP ) {
                    continue outer;
                }
            } while ( _type ==MORE );
            if ( _token == null ) emit();
            return _token;
        }
    }
    finally {
        // make sure we release marker after match or
        // unbuffered char stream will keep buffering
        _input.release(tokenStartMarker);
    }
}

以下是引起我注意的那条线。

_channel = Token.DEFAULT_CHANNEL;

我对ANTLR知之甚少，但显然，这一行使词法分析器保持在DEFAULT_CHANNEL通道中。

是我尝试从HIDDEN_CHANNEL通道读取的方式正确还是无法将nextToken()与隐藏通道一起使用？

最佳答案

我发现了为什么词法分析器没有给我任何包含注释的标记-我似乎想念语法文件会跳过注释而不是将注释放入隐藏通道中。与作者联系，更改了语法文件，现在可以使用了。

对我自己的注意：请多注意阅读的内容。

关于java - 在HIDDEN channel 中遍历 token ，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/28245028/