python - 将NLTK的通用标签集与非英语语料库一起使用

我在Python 3.4.3+中使用NLTK（3.0.4-1），我想使用通用标记集（必须安装）as explained in NLTK book, chapter 5处理一些标记的语料库。

我可以使用其原始PoS标签集访问任何这些语料库，例如：

from nltk.corpus import brown, cess_esp, floresta

print(brown.tagged_sents()[0])
[('The', 'AT'), ('Fulton', 'NP-TL'), ('County', 'NN-TL'), ('Grand', 'JJ-TL'), ('Jury', 'NN-TL'), ('said', 'VBD'), ('Friday', 'NR'), ('an', 'AT'), ('investigation', 'NN'), ('of', 'IN'), ("Atlanta's", 'NP$'), ('recent', 'JJ'), ('primary', 'NN'), ('election', 'NN'), ('produced', 'VBD'), ('``', '``'), ('no', 'AT'), ('evidence', 'NN'), ("''", "''"), ('that', 'CS'), ('any', 'DTI'), ('irregularities', 'NNS'), ('took', 'VBD'), ('place', 'NN'), ('.', '.')]

print(cess_esp.tagged_sents()[0])
[('El', 'da0ms0'), ('grupo', 'ncms000'), ('estatal', 'aq0cs0'), ('Electricité_de_France', 'np00000'), ('-Fpa-', 'Fpa'), ('EDF', 'np00000'), ('-Fpt-', 'Fpt'), ('anunció', 'vmis3s0'), ('hoy', 'rg'), (',', 'Fc'), ('jueves', 'W'), (',', 'Fc'), ('la', 'da0fs0'), ('compra', 'ncfs000'), ('del', 'spcms'), ('51_por_ciento', 'Zp'), ('de', 'sps00'), ('la', 'da0fs0'), ('empresa', 'ncfs000'), ('mexicana', 'aq0fs0'), ('Electricidad_Águila_de_Altamira', 'np00000'), ('-Fpa-', 'Fpa'), ('EAA', 'np00000'), ('-Fpt-', 'Fpt'), (',', 'Fc'), ('creada', 'aq0fsp'), ('por', 'sps00'), ('el', 'da0ms0'), ('japonés', 'aq0ms0'), ('Mitsubishi_Corporation', 'np00000'), ('para', 'sps00'), ('poner_en_marcha', 'vmn0000'), ('una', 'di0fs0'), ('central', 'ncfs000'), ('de', 'sps00'), ('gas', 'ncms000'), ('de', 'sps00'), ('495', 'Z'), ('megavatios', 'ncmp000'), ('.', 'Fp')]

print(floresta.tagged_sents()[0])
[('Um', '>N+art'), ('revivalismo', 'H+n'), ('refrescante', 'N<+adj')]

到目前为止一切顺利，但是当我使用选项tagset='universal'访问PoS标签的简化版本时，它仅适用于Brown语料库。

print(brown.tagged_sents(tagset='universal')[0])
[('The', 'DET'), ('Fulton', 'NOUN'), ('County', 'NOUN'), ('Grand', 'ADJ'), ('Jury', 'NOUN'), ('said', 'VERB'), ('Friday', 'NOUN'), ('an', 'DET'), ('investigation', 'NOUN'), ('of', 'ADP'), ("Atlanta's", 'NOUN'), ('recent', 'ADJ'), ('primary', 'NOUN'), ('election', 'NOUN'), ('produced', 'VERB'), ('``', '.'), ('no', 'DET'), ('evidence', 'NOUN'), ("''", '.'), ('that', 'ADP'), ('any', 'DET'), ('irregularities', 'NOUN'), ('took', 'VERB'), ('place', 'NOUN'), ('.', '.')]

当使用西班牙语和葡萄牙语访问语料库时，我会遇到一连串的错误和LookupError异常。

print(cess_esp.tagged_sents(tagset='universal')[0])
---------------------------------------------------------------------------
LookupError                               Traceback (most recent call last)
<ipython-input-6-4e2e43e54e2d> in <module>()
----> 1 print(cess_esp.tagged_sents(tagset='universal')[0])

[...]

LookupError:
**********************************************************************
  Resource 'taggers/universal_tagset/unknown.map' not found.
  Please use the NLTK Downloader to obtain the resource:  >>>
  nltk.download()
  Searched in:
    - '/home/victor/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
    - ''
**********************************************************************

在我的taggers/universal_tagset目录中的映射中，我可以找到西班牙语（es-cast3lb.map）和葡萄牙语（pt-bosque.map）的映射，但是我没有任何unknown.map文件。有什么想法如何解决吗？

提前致谢：-）

最佳答案

这是一个有趣的问题。 NLTK在您在nltk_data/taggers/universal_tagset/中找到的固定映射的帮助下，仅对固定的语料集实现了到通用标记集的映射。除了一些特殊情况（包括将棕色语料库当作名称为en-brown对待）以外，规则是查找与该语料库使用的标签集同名的映射文件。在您的情况下，标记集设置为“未知”，这就是为什么您看到该消息的原因。

现在，您确定“西班牙语映射”（即地图es-cast3lb.map）实际上与您的语料库的标记集匹配吗？我当然不会只是假设这样做，因为任何项目都可以创建自己的标签集和使用规则。如果这是您的语料库使用的相同标签集，那么您的问题有一个简单的解决方案：

初始化语料库阅读器时，例如cess_esp，将选项tagset="es-cast3lb"添加到构造函数。如有必要，例如对于已经由NLTK使用tagset="unknown"加载的语料库，可以在初始化后覆盖标签集，如下所示：

cess_esp._tagset = "es-cast3lb"

这告诉语料库阅读器在语料库中使用了什么标签集。之后，指定tagset="universal"将导致应用选定的映射。

如果此标签集实际上不适合您的语料库，则您的第一项工作是研究语料库的标签集文档，并为通用标签集创建适当的映射；如您所见，该格式非常简单。然后，您可以通过将其放在nltk_data/taggers/universal_tagset中来放置其映射。将您自己的资源添加到nltk_data区域肯定是一个hack，但是如果您走得这么远，我建议您将标签集映射贡献给nltk ...，这将在事后解决该hack。

编辑：所以（根据评论）这是正确的标记集，但是映射字典中只有1-2个字母的POS标记（标记的其余部分大概描述了变形词的特征）。这是快速扩展映射字典的快速方法，因此您可以看到通用标签：

import nltk
from nltk.corpus import cess_esp
cess_esp._tagset = "es-cast3lb"

nltk.tag.mapping._load_universal_map("es-cast3lb")  # initialize; normally loaded on demand
mapdict = nltk.tag.mapping._MAPPINGS["es-cast3lb"]["universal"] # shortcut to the map

alltags = set(t for w, t in cess_esp.tagged_words())
for tag in alltags:
    if len(tag) <= 2:   # These are complete
        continue
    mapdict[tag] = mapdict[tag[:2]]

这将丢弃协议信息。如果您想用它装饰“通用”标签，只需将mapdict[tag]设置为mapdict[tag[:2]]+"-"+tag[2:]。

我将如上所述将字典保存到文件中，这样就不必在每次加载语料库时都重新计算映射。