elasticsearch - 如何根据 ElasticSearch 中的正则表达式过滤 token

对于 ElasticSearch 查询，我们希望以不同的方式处理单词(即仅由字母组成的标记)和非单词。为此，我们尝试定义两个分析器，要么返回单词，要么返回非单词。

例如，我们有描述五金店产品的文档:

{
    "name": "Torx drive T9",
    "category": "screws",
    "size": 2.5,
}

然后用户将搜索“Torx T9”并期望找到该文档。搜索 T9 会过于笼统，会提供太多不相关的产品。因此，如果我们已经找到了“Torx”，我们只想搜索“T9”这个词。

我们尝试创建这样的查询

{
    "query": {
        "bool": {
            "must": {
                "match: {
                    "name": {
                    "query": "Torx T9",
                    "analyzer": "words"
                 }
             },
            "should": {
                "match: {
                    "name": {
                    "query": "Torx T9",
                    "analyzer": "nonwords"
                 }
             }
         }
     }
}

这个想法是创建 token 过滤器来做到这一点很简单。例如类似的东西:

"settings": {
  "analysis": {
     "filter": {
        "words": {
           "type": "pattern",
           "pattern": "\\A\\p{L}*\\Z",
        },
        "nonwords": {
            "type": "pattern",
            "pattern": "\\P{L}",
        }
    }
}

但是似乎没有只匹配模式的过滤器。相反，我们 (ab) 使用 pattern_replace 过滤器:

"settings": {
  "analysis": {
     "filter": {
        "words": {
           "type": "pattern_replace",
           "pattern": "\\A((?=.*\\P{L}).*)",
           "replacement": ""
        },
        "nonwords": {
            "type": "pattern_replace",
            "pattern": "\\A((?!.*\\P{L}).*)",
            "replacement": ""
        },
        "nonempty": {
            "type": "length",
            "min":1
        }
    }
}

这将用空标记替换不需要的标记，然后可以通过非空过滤器将其删除。这似乎有效，但所需的模式更加模糊。

有没有更好的方式来表达这一点？

最佳答案

您可以根据您的要求尝试将 query-string-query 与 default_operator 作为“AND”。

例如，考虑您正在索引两个字符串“Torx drive T9”和“Square drive T9”。如果您使用 whitespace tokenizer 进行索引，则该字符串将被分析为以下标记
第一个文档: torx 、 drive 和 t9 。
第二个文档: square 、 drive 和 t9 。

然后使用查询字符串查询将文档与默认运算符匹配为 AND 将产生预期的结果。

样本映射

{
  "settings": {
    "analysis": {
      "analyzer": {
        "whitespace": {
          "type": "pattern",
          "pattern": "\\s+"
        }
      }
    }
  },
  "mappings": {
    "my_type": {
      "properties": {
        "name": {
          "type": "string",
          "analyzer": "whitespace"
        }
      }
    }
  }
}

示例查询

{
   "query": {
    "query_string": {
       "default_field": "name",
       "query": "Torx T9",
       "default_operator": "AND"
        }
     }
 }

仅当 torx 和 t9 都出现在文档中时，此查询才会产生结果。