Flink Streaming示例：Kafka010Example.scala无法正常工作

Question

我试图运行官方＆＃34; Kafka010Example.scala＆＃34;，但是不通常它不会从输入主题读取并按预期写入输出。我错过了什么或做错了什么？任何帮助或提示非常感谢。这就是我所做的：

1. 在docker容器中启动kafka（spotify / kafka：latest）

   $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest

2. 在容器内启动bash会话：

   $ docker exec -it 26d1cfced4cb /bin/bash

3. 创建输入和输出主题：

   $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-input

   $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-output

4. 推出＆＃34; Kafka010Example.scala＆＃34;在本地模式下运行flink 1.3.2（MiniCluster），flink-connector-kafka-0.10_2.11

   使用以下参数： --input-topic test-input --output-topic test-output --bootstrap.servers localhost:9092 --zookeeper.connect localhost:2181 --group.id myconsumer

5. 日志： https://file.io/jWsqI8

6. 向主题发送了一些消息：

   $ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-input

   blah

   blahh

   blahhh

7. 检查输出主题的偏移量 - NOTHING

   $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group myconsumer --topic test-output

   Group           Topic                          Pid Offset          logSize         
   Lag             Owner
   myconsumer      test-output                    0   0               0               
   0               none
   

8. 检查消费者群体偏移 - 没有

   $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group myconsumer

   No topic available for consumer group provided
   GROUP                          TOPIC                          PARTITION  
   CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
   

Answer 1

我建议使用console-consumer来观看测试输出主题。我不希望测试输出主题的偏移量提前，因为没有人读过它。

Answer 2

第7步应该是：

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --group myconsumer --topic test-output