用于Kafka Connect的Elasticsearch连接器 - 偏移量和时间戳

Question

我正在使用elasticsearch连接器（汇合）进行kafka连接。我从主题获取消息到elasticsearch索引。如果没有使用密钥，我可以看到偏移量是_id的一部分。我想根据偏移和时间戳浏览elasticseach中的消息。

是否可以将消息的偏移量和时间戳作为索引中的字段？

这是elasticsearch文档

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

谢谢， 拉杰什

Answer 1

这目前无法实现，但我们正在思考一项功能，该功能允许将timestamp，topic，partition，offset等记录元数据提升到字段。

Answer 2

使用Single Message Transforms确实可以添加新字段，包括偏移量和时间戳等值。看看org.apache.kafka.connect.transforms.InsertField。