最初，我使用的是分析器“语言分析器”，并且一切似乎都运行良好。直到我意识到“a”不是法语停用词列表的一部分
所以我决定用雪球测试。它似乎也运行良好，但是在这种情况下，它确实删除了短词，例如“l”，“d”，...。
因此，我的问题是:如何使用滚雪球，默认情况下保留过滤器，并添加停用词和省略号列表？
否则，如何更改分析器“语言分析器”的停用词列表？
最后一个问题:使用雪球而不是分析器“语言分析器”真的有兴趣吗？它更快吗？更相关？
谢谢
最佳答案
由于分析器只是 token 生成器和零个或多个过滤器的组合，因此您可以构建自己的自定义雪球分析器，该分析器模仿“默认值”并在顶部添加自己的过滤器，例如elision token filter。
如snowball analyzer documentation中所述:
因此，这是一个包含两个实现的示例，一个带有默认过滤器以及自定义停用词和省略符的雪球分析器，以及一个包含停用词的自定义列表的语言分析器:
{
"settings": {
"analysis": {
"analyzer": {
"custom_snowball_analyzer": {
"tokenizer": "standard",
"filter": [
"standard",
"lowercase",
"stop",
"snowball",
"custom_stop",
"custom_elision"
]
},
"custom_language_analyzer": {
"type": "french",
"stopwords": ["a", "à", "t"]
}
},
"filter": {
"custom_stop": {
"type": "stop",
"stopwords": ["a", "à", "t"]
},
"custom_elision": {
"type": "elision",
"articles": ["l", "m", "t", "qu", "n", "s", "j"]
}
}
}
}
}
让我们看看两个分析器使用相同的测试语句生成的 token :
curl -sXGET 'http://localhost:9200/testing/_analyze?analyzer=custom_snowball_analyzer&pretty' -d "Il a de la chance, parait-t-il que l'amour est dans le pré, mais au final à quoi bon ?." | grep token
"tokens" : [ {
"token" : "il",
"token" : "de",
"token" : "la",
"token" : "chanc",
"token" : "parait",
"token" : "il",
"token" : "que",
"token" : "amour",
"token" : "est",
"token" : "dan",
"token" : "le",
"token" : "pré",
"token" : "mai",
"token" : "au",
"token" : "final",
"token" : "quoi",
"token" : "bon",
curl -sXGET 'http://localhost:9200/testing/_analyze?analyzer=custom_language_analyzer&pretty' -d "Il a de la chance, parait-t-il que l'amour est dans le pré, mais au final à quoi bon ?." | grep token
"tokens" : [ {
"token" : "il",
"token" : "de",
"token" : "la",
"token" : "chanc",
"token" : "parait",
"token" : "il",
"token" : "que",
"token" : "amou",
"token" : "est",
"token" : "dan",
"token" : "le",
"token" : "pré",
"token" : "mai",
"token" : "au",
"token" : "final",
"token" : "quoi",
"token" : "bon",
如您所见，两个分析器都产生几乎完全相同的标记，除了“amour”(尚未阻止)之外，我也不知道为什么要诚实，因为雪球过滤器在引擎盖下使用了阻止器。
关于您的第二个问题，那些过滤器仅影响索引时间(在标记化步骤期间)，我想说这两种实现的性能几乎相同(语言分析器应该稍快一些，因为在此示例中它仅阻止法语单词)
并且除非您计划在高负载下索引大型文档，否则不会引起注意。
搜索响应时间应该相似，因为标记几乎相同(如果仅索引法语文档)，因此我认为Lucene将提供相同的性能。
最后，如果您仅索引法语文档，我会选择语言分析器，因为它在映射定义中要小得多:-)