我正在尝试将一个主题test1的内容复制到另一主题test1_connect
内容是protobuf消息。
我已经尝试过kafkacat,但似乎不适用于protobuf消息。
所以我尝试了复制器(connect-distributed),下面是相同的配置。
connect-distirbuted.properties
bootstrap.server =<bootstrap server>
compression.type=snappy
group.id=...
key.convertor =json....
value.convertor =json...
offset.storage.topic=offsets
config.storage.topic=configs
status.storgae.topic=status
send.buffer.bytes=33554432
offset.flush.interval.ms=1000000
replicator.json
{
name:replicator,
config:{
<normal config but source and destination cluster is same. >
}
}
虽然可以正常工作,但是非常慢。
观察
我看到很多类似的错误
无法将记录发送到test1_connect kafkaexception:强行关闭了produxer。
TimeoutException:Adminclient线程不接受新的调用。
Java内存不足错误。
有没有我应该做的性能优化。
我从没想过kafka connect会需要很多内存。我认为应该只是将一个主题的内容非常快地复制到另一个主题,就像它的集群一样。