CAN KAFKA持久队列存储多少数据？

Question

我完整阅读了Kafka 0.8.0的文档，但找不到这个问题的答案。如果有人有Kafka的经验，那么假设您的硬件没有达到故障点，那么它可以容纳的最大数据量是多少。我们计划将我们的有效载荷存储在kafka中用于DR目的。

Answer 1

卡夫卡本身没有限制。 当数据从生产者进入时，它将以文件段的形式写入磁盘，这些段将被轮换 根据时间（ log.roll.hours ）或大小（ log.segment.bytes ）根据配置。

根据可以关闭的保留配置（ log.cleanup.policy，log.retention.minutes，log.retention.bytes ）删除旧段。

请注意，代理会保持每个段文件都处于打开状态，因此请确保相应地设置了文件描述符限制。

代理配置文档： http://kafka.apache.org/documentation.html#brokerconfigs