Kafka连接运行非常缓慢并引发间歇性错误

时间:2019-10-18 10:38:38

标签: apache-kafka-connect

我正在尝试将一个主题test1的内容复制到另一主题test1_connect

内容是protobuf消息。

我已经尝试过kafkacat,但似乎不适用于protobuf消息。

所以我尝试了复制器(connect-distributed),下面是相同的配置。

connect-distirbuted.properties

bootstrap.server =<bootstrap server>
compression.type=snappy
group.id=...
key.convertor =json....
value.convertor =json...
offset.storage.topic=offsets
config.storage.topic=configs
status.storgae.topic=status

send.buffer.bytes=33554432
offset.flush.interval.ms=1000000

replicator.json

{
    name:replicator, 
    config:{
          <normal config but source and       destination cluster is same. >
    } 
}

虽然可以正常工作,但是非常慢。

观察

  1. 每隔几分钟,它就会做一些我们在kafka启动期间通常会看到的身份验证内容。
  2. 我看到很多类似的错误

    无法将记录发送到test1_connect kafkaexception:强行关闭了produxer。

  3. TimeoutException:Adminclient线程不接受新的调用。

  4. Java内存不足错误。

有没有我应该做的性能优化。

我从没想过kafka connect会需要很多内存。我认为应该只是将一个主题的内容非常快地复制到另一个主题,就像它的集群一样。

0 个答案:

没有答案
相关问题