如何将（Kafka）登录存储到数据库（Cassandra或Hive）？

Question

如何存储日志 从生产者到消费者到数据库 下载0.9.0.0发行版并将其解压缩后，我将按照以下步骤操作。

1. $ bin/zookeeper-server-start.sh config/zookeeper.properties &

2. $ bin/kafka-server-start.sh config/server.properties

3. $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic summary-markers

1. $ bin/kafka-topics.sh --list --zookeeper localhost:2181

2. $ cd .. $ mvn package

3. 运行生产者

4. 启动消费者

Answer 1

  

下载0.9.0.0版本并解压缩。

那是Kafka的非常旧的版本...您使用的所有步骤在较新的版本上均完全相同，并且可能会更稳定。

---

Kafka不会将其数据（日志）存储在数据库中。

---

如果要将由Kafka生成的数据发送到另一个系统，则所包含的工具（自Kafka 0.10起）称为Kafka Connect，并且您还可以找到HDFS / Hive已经存在的连接器。作为卡桑德拉。

但是，我们欢迎您编写任何Consumer自行编写这些系统，Kafka并没有将其捆绑在一起。