elasticsearch - 在Java Lucene上模拟 Elasticsearch 索引和查询

您好，我正在使用 flex 搜索，但是我想迁移到Java Lucene。

我需要以相同的方式重新创建索引并以相同的方式重新创建查询。我虽然做到了，但是从查询中得到的分数却不太一样。结果非常相似，但是结果本身的分数不同。也许我缺少了一些东西。我找不到足够的信息，默认的 flex 设置在Lucene中是等效的。

我检查了我的Lucene版本是否与我使用的 flex 搜索相同

我将向您展示我的 flex 构型以及如何在Lucene上进行复制。

这是我用于创建索引的 flex 搜索连接器:

"analysis": {
   "analyzer": {
            "default": {
               "tokenizer": "standard",
                "filter":  [ "lowercase", "asciifolding" ]
             }
    }
}

这些是我的疑问:

查询1)

 "query": {
      "dis_max": {
           "queries": [
                { "match": { "field1": "${term}" }}
           ],
      "tie_breaker": 1
     }
 }

查询2)

 "query": {
      "dis_max": {
           "queries": [
                { "match": { "field1": "${term}" }},
                { "match": { "field2": "${term}" }},
                { "match": { "field2":  "${term}" }}
           ],
           "tie_breaker": 1
      }
 }

以下是Scala代码:

这些是创建Lucene索引时的field1, field2 and field3选项:

 val CustomStringFieldType: FieldType = {
     val fieldType = new FieldType()
     fieldType.setStoreTermVectors(true)
     fieldType.setStoreTermVectorPositions(true)
     fieldType.setOmitNorms(false)
     fieldType.setTokenized(true)
     fieldType.setStored(false)
     fieldType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS)
     fieldType.freeze()
     fieldType
   }

我使用doc.add(new Field("field1", field1Value, CustomStringFieldType))将字段添加到文档中。

这些是我的疑问。我正在使用Standard Analyzer创建 token ，并且正在使用BM25相似度算法:

  def query1(tokens: Seq[String]): Query = {

     var booleanQueryBuilder = new BooleanQuery.Builder()

     for (token <- tokens) {
       booleanQueryBuilder = booleanQueryBuilder.add(
         new TermQuery(new Term("field1", token)),
         BooleanClause.Occur.SHOULD)
     }
     booleanQueryBuilder.build()
   }

 def query2(tokens: Seq[String]): Query = {

     val queries = new java.util.ArrayList[Query]()

     for (field <- ("field1", "field2", "field3") {

       var booleanQueryBuilder = new BooleanQuery.Builder()

       for (token <- tokens) {
         booleanQueryBuilder = booleanQueryBuilder.add(
           new TermQuery(new Term(field, token)),
           BooleanClause.Occur.SHOULD)
       }

       val booleanQuery: BooleanQuery = booleanQueryBuilder.build()
       queries.add(booleanQuery)
     }
     new DisjunctionMaxQuery(queries, broadQueryTieBreaker)
   }

最佳答案

明显的区别是您的映射设置。

当您选择在Lucene中拥有以下服务时

fieldType.setStoreTermVectors(true)
fieldType.setStoreTermVectorPositions(true)
fieldType.setOmitNorms(false)
fieldType.setTokenized(true)
fieldType.setStored(false)
fieldType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS)

默认情况下，在Elasticsearch中:
term_vector-默认情况下处于禁用状态，因此您需要

PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "text": {
          "type":        "text",
          "term_vector": "with_positions"
        }
      }
    }
  }
}

像在Lucene中一样存储职位。

因此，由于您要迁移到Lucene，因此需要禁用术语 vector ，就像在Elasticsearch中一样

关于elasticsearch - 在Java Lucene上模拟 Elasticsearch 索引和查询，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54346717/