我可以看到这已经被讨论了几次 here for instance 但我认为由于 Elasticsearch 中的重大变化,这些解决方案已经过时了。
我正在尝试将我的 Kafka 主题中的 Json 中的 long/epoch 字段转换为通过连接器推送的 Elasticsearch 日期类型。
当我尝试添加动态映射时,我的 Kafka 连接更新失败,因为我试图将两个映射应用于一个字段,_doc 和 kafkaconnect。这是围绕第 6 版的重大更改,我相信每个索引只能有一个映射。
{
"index_patterns": [ "depart_details" ],
"mappings": {
"dynamic_templates": [
{
"scheduled_to_date": {
"match": "scheduled",
"mapping": {
"type": "date"
}
}
}
]
}}
我现在专注于尝试通过将字段更改为时间戳、时间或日期来翻译连接器中源头的消息。
"transforms.TimestampConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.TimestampConverter.field" : "scheduled",
"transforms.TimestampConverter.target.type": "Timestamp"
但是,我尝试通过此转换器发送的任何消息都失败了
Caused by: org.apache.kafka.connect.errors.DataException: Java class class java.util.Date does not have corresponding schema type.
at org.apache.kafka.connect.json.JsonConverter.convertToJson(JsonConverter.java:604)
at org.apache.kafka.connect.json.JsonConverter.convertToJson(JsonConverter.java:668)
at org.apache.kafka.connect.json.JsonConverter.convertToJsonWithoutEnvelope(JsonConverter.java:574)
at org.apache.kafka.connect.json.JsonConverter.fromConnectData(JsonConverter.java:324)
at io.confluent.connect.elasticsearch.DataConverter.getPayload(DataConverter.java:181)
at io.confluent.connect.elasticsearch.DataConverter.convertRecord(DataConverter.java:163)
at io.confluent.connect.elasticsearch.ElasticsearchWriter.tryWriteRecord(ElasticsearchWriter.java:285)
at io.confluent.connect.elasticsearch.ElasticsearchWriter.write(ElasticsearchWriter.java:270)
at io.confluent.connect.elasticsearch.ElasticsearchSinkTask.put(ElasticsearchSinkTask.java:169)
似乎需要做一件非常常见的事情,但我不知道如何在版本 7 中通过此连接器将日期或时间字段输入 Elastic?
最佳答案
Confluent 文档指出 ES 连接器 is currently not supported 与 ES 7.
根据 this issue ,在连接器配置中将 type.name=kafkaconnect
更改为 type.name=_doc
可能就足够了。
关于elasticsearch - Kafka Elasticsearch 连接器时间戳,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/58076599/