初始批量加载后未创建Kafka主题

时间:2019-03-14 11:04:56

标签: apache-kafka apache-kafka-connect

我有一个运行中的Landoop快速数据开发docker容器,该容器具有sqlserver作为源,而s3作为接收器。源配置为

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1    
connection.url=jdbc:sqlserver:/hostname.com.au:1433;databaseName=DB;user=;password=
topic.prefix=activitylog
timestamp.column.name=DateTimeStamp
query=Select * from dbo.activitylog
mode=timestamp 
table.types=VIEW
poll.interval.ms=5000
batch.max.rows=1000

配置了s3接收器后,我可以立即看到大约1000行写入s3,但是此后什么也没有发生。我的源代码已经获得了数千行,但生产者在第一次运行后就不再产生任何主题。 为了使制片人连续创建主题,是否需要进一步配置?

S3接收器连接看起来像这样

name=S3SinkConnector
connector.class=io.confluent.connect.s3.S3SinkConnector
topics=activitylog
tasks.max=1
format.class=io.confluent.connect.s3.format.avro.AvroFormat
flush.size=3
s3.bucket.name=testbucket
storage.class=io.confluent.connect.s3.storage.S3Storage
s3.region=ap-southeast-2
s3.part.size=5242880
partitioner.class=TimeBasedPartitioner
path.format= YYYYMMdd_HH
timezone=AEST

请帮助。

0 个答案:

没有答案
相关问题