Kafka 1.1.0的Apache Flink 1.6.0连接问题

时间:2018-09-27 09:11:44

标签: apache-kafka kafka-consumer-api

我正在使用Apache Flink 1.6.0集群。我们在作业中使用FlinkKafkaConsumer011。 启用检查点(Statebackend为RocksDB,间隔5 s,超时1分钟,检查点之间的最小暂停1s,最大并发检查点1.在本地IDE中执行作业时,所有操作均成功。但是,当作业在远程flink中执行时集群,没有事件被读取(使用startFromEarliest,我确保在kafka主题中有很多事件消息)。通过查看作业日志,没有错误日志,仅找到一些警告消息: WARN org.apache.flink.streaming.connectors.kafka.internal.Kafka09Fetcher - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity. 我应该忽略这些警告消息吗?为什么Flink Kafka连接器最早从偏移量读取事件?

0 个答案:

没有答案