elasticsearch - 在php脚本中运行update_by_query curl时的“version conflict, current version is different than the one provided”

我必须更新我的ES文档中的某些字段。

我有一个整数'objectID'字段，它是文档所关注对象的唯一ID。

我有一个String'objectType'字段，这是文档所关注的对象的类型。

所有文档都描述了对该对象的操作，并且objectType和objecID始终存在于所有文档中。

不幸的是，一些对象类型为“post_image”的文档已被索引为“post”。 objectID仍然是唯一且有效的，并且只有一种类型的文档具有错误的objectType。因此，所有对象至少具有另一个具有正确的objectType和相同的唯一objectID的文档。

我想使用update_by_query在objectType为“post”且所有其他文档中objectType为“post_image”的所有文档上，将objectType的值更新为“post_image”。

这是我的伪代码脚本:

{
"query": {
    "match" : { "objectType" : "post" } //all documents with objectType post
},
"script": {
    "lang": "painless",
  "source": "
//subquery selecting all objectIDs from documents with objectType "post_image"
    subQueryResults = "query": {
        "match" : { "objectType" : "post_image" }
        //I don't know to filter results to retrive objectID field only
        //no need for help here, i'll figure it out myself
    }
    if (/*ctx.source['objectID'] in subQueryResults*/){
        ctx._source['objectType'] = "post_image"
    }

  "
}

我是无痛脚本的新手，我不知道如何在脚本中添加另一个查询以获取所有“post_image” ID的列表。我知道我可以将参数传递给脚本，但是我不知道是否或者如何使用查询结果。

谢谢!

编辑:

我已经解决了部分问题，方法是使用Kibana原始导出提取有关的objectID的csv列表，并且我制作了一个PHP脚本来解析每个objectID并将其放在我的update_by_query的查询字符串中，该字符串简单地找到所有具有匹配objectID的文档并将objectType字段值替换为“post_image”。

我正在使用php curl进行这些调用，尽管我在请求中使用了“conflicts”:“proceded”，但我还是遇到版本冲突问题。我已经在kibana的开发人员控制台中测试了相同的查询，并且该查询运行良好，而且我找不到从php运行时为什么不更新我的文档的任何解释。

这是脚本:

<?php
$query = "";
$csvFile = file($argv[1]);
try{
        //$data = array();
    $query = "";
    $i = 0;
    $csv_headers = array();

    $uri = "http://ip/index/type/_update_by_query";

    $conn = curl_init();
    curl_setopt($conn, CURLOPT_URL, $uri);
    curl_setopt($conn, CURLOPT_TIMEOUT, 5);
    curl_setopt($conn, CURLOPT_SSL_VERIFYPEER, FALSE);
    curl_setopt($conn, CURLOPT_SSL_VERIFYHOST, FALSE);
    curl_setopt($conn, CURLOPT_RETURNTRANSFER, TRUE);
    curl_setopt($conn, CURLOPT_FAILONERROR, FALSE);
    curl_setopt($conn, CURLOPT_CUSTOMREQUEST, strtoupper('POST'));
    curl_setopt($conn, CURLOPT_FORBID_REUSE, 0);

    foreach ($csvFile as $line) {
        try{
            //WARNING: separator parameter of str_getcsv call is a risk or error based on the type of CSV used.
            //skip header in CSV
            if ($i > 0){
                $data = str_getcsv($line,',');
                    //$data = explode(",", $line);
                $id = $data[0];
                echo $id.", ";
            //old query, wasn't working
            //     $query = "{
            //         \"conflicts\": \"proceed\",
            //         \"query\": {
            //             \"match\" : { \"objectID\" : ".$id."
            //         }
            //     },
            //     \"script\": {
            //         \"lang\": \"painless\",
            //         \"source\": \"ctx._source['objectType'] = '".$argv[2]."'\"
            //     }
            // }";
                $query = "{
                    \"conflicts\": \"proceed\",
                    \"query\": {
                       \"bool\": {
                        \"must\": {
                            \"match\": {
                                \"objectType\": \"Post\"
                            }
                        },
                        \"filter\": {
                            \"terms\": {
                                \"objectID\": [
                                    ".$id."
                                ]
                            }
                        }
                    }
                },
                \"script\": {
                    \"lang\": \"painless\",
                    \"source\": \"ctx._source['objectType'] = 'Post_image'\"
                }
            }";

            curl_setopt($conn, CURLOPT_HTTPHEADER, array(
                'Content-Type: application/json',
                'Content-Length: ' . strlen($query))
        );
            curl_setopt($conn, CURLOPT_POSTFIELDS, json_encode($query));
            $response = curl_exec($conn);
            //sleep(1);
            echo $response;
        }
        $i++;
    }catch(Exception $e){
        echo $e->getMessage();
            //continue;
    }
}catch(Exception $e){
echo $e->getMessage();
}
}
echo $query;
echo "\nCompleted.\n\n";
?>

示例响应:

{"index":"index",
"type":"type",
"id":"AWB0YFcjAFB9uQAwMSKx",
"cause":{"type":"version_conflict_engine_exception",
"reason":"[type][AWB0YFcjAFB9uQAwMSKx]: version conflict,
 current version [27] is different than the one provided [26]",
"index_uuid":"yOD9SBy0RMmDZGK_N5o8qw",
"shard":"2",
"index":"index"},
"status":409}

这很奇怪，因为我没有在请求中提供任何文档版本。可能与upbade_by_query API中的某些自动内部行为有关。

最佳答案

我最终确定了整个想法。

首先，我对查询做了一些修改:

$query = "{ \"query\": {
                       \"bool\": {
                        \"must\": {
                            \"match\": {
                                \"objectType\": \"Post\" <- more optimal!
                            }
                        },
                        \"filter\": {
                            \"term\": {
                                \"objectID\":
                                    \"".$id."\"
                            }
                        }
                    }
                },
                \"script\": {
                    \"lang\": \"painless\",
                    \"source\": \"ctx._source['content'] = '".$argv[2]."'\"
                }
            }";

argv [2]是我要提供给文档的objectType。 (“Post_image”)

然后，我必须在curl_exec之前的行上删除JSON_encode($ query)

curl_setopt($conn, CURLOPT_POSTFIELDS, $query);
        $response = curl_exec($conn);

然后我停止出现错误，但是我有很多空结果，这很奇怪，因为在使用kibana开发工具时查询正在返回结果，但是后来我意识到我使用了错误的IP，并将所有内容发送到另一个并正在运行的测试ES中，相同的索引/类型，但索引中没有任何实际文档，因此结果为空而没有实际错误。我感到有点傻。

PS:功能要求:facepalm表情符号。

关于elasticsearch - 在php脚本中运行update_by_query curl时的“version conflict, current version is different than the one provided”，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48350132/