我正在使用 lark ，一个很好的 python parsing library 。
它提供了一个 Earley 和 LALR(1) 解析器，并通过 custom EBNF format 定义。 (EBNF 代表 Extended Backus–Naur form )。
小写定义是规则，大写定义是终结符。 Lark 还为大写定义提供了一个权重来确定匹配的优先级。
我正在尝试定义一个语法，但我陷入了一种我似乎无法平衡的行为。
我有一些未命名文字的规则(双引号之间的字符串或字符):
directives: directive+
directive: "@" NAME arguments ?
directive_definition: description? "directive" "@" NAME arguments? "on" directive_locations
directive_locations: "SCALAR" | "OBJECT" | "ENUM"
arguments: "(" argument+ ")"
argument: NAME ":" value
union_type_definition: description? "union" NAME directives? union_member_types?
union_member_types: "=" NAME ("|" NAME)*
description: STRING | LONG_STRING
STRING: /("(?!"").*?(?<!\\)(\\\\)*?"|'(?!'').*?(?<!\\)(\\\\)*?')/i
LONG_STRING: /(""".*?(?<!\\)(\\\\)*?"""|'''.*?(?<!\\)(\\\\)*?''')/is
NAME.2: /[_A-Za-z][_0-9A-Za-z]*/
它适用于 99% 的用例。但是，如果在我的解析语言中，我使用名为
directive 的 directive ，一切都会中断:union Foo @something(test: 42) = Bar | Baz # This works
union Foo @directive(test: 42) = Bar | Baz # This fails
这里，
directive 字符串匹配 directive_definition 规则中的未命名文字，当它应该匹配 NAME.2 终端时。我如何平衡/调整它，以便 LALR(1) 解析器不会产生歧义？
最佳答案
Lark 的作者在这里。
发生这种误解是因为“指令”可以是两个不同的标记:“指令”字符串或 NAME。默认情况下，Lark 的 LALR 词法分析器总是选择更具体的一个，即字符串。
那么我们如何让词法分析器知道 @directive 是一个名称，而不仅仅是两个常量字符串呢？
解决方案 1 - 使用上下文词法分析器
在这种情况下(如果没有完整的语法就很难确定)可能会有帮助的是使用上下文词法分析器，而不是标准的 LALR(1) 词法分析器。
上下文词法分析器可以在某种程度上与解析器进行通信，以确定在每个点哪个终端更有意义。这是 Lark 独有的算法，你可以这样使用:
parser = Lark(grammar, parser="lalr", lexer="contextual")
(这个词法分析器可以做任何标准词法分析器能做的事情，甚至更多，所以在 future 的版本中它可能会成为默认词法分析器。)
解决方案 2 - 为终端添加前缀
如果上下文词法分析器不能解决您的冲突，则针对这种情况的更“经典”解决方案是定义一个指令标记，例如:
DIRECTIVE: "@" NAME
与您的指令规则不同，这不会给词法分析器留下任何歧义。指令和“指令”字符串(或 NAME 终端)之间有明显的区别。
如果所有其他方法都失败了，您总是可以使用 Earley 解析器，它以性能为代价，可以处理您提供的任何语法，无论可能有多少冲突。
希望这可以帮助!
编辑: 我只想指出上下文词法分析器现在是 LALR 的默认设置，因此调用:
parser = Lark(grammar, parser="lalr")
关于python - 如何平衡python Lark解析器中的规则和终端？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48824314/