我们计划实施Kafka来从各种设备中收集日志。我们预计将有大约1万个设备。我们是否可以将所有这些设备直接连接到kafka集群，还是应该通过日志服务器集中日志以限制与kafka的连接数？我们计划针对每种设备（Linux，Aix，Windows 2003、2008等）设置一个主题。 谢谢
答案 0 :(得分：1)
我想说的相关指标是每个Kaka节点每秒需要传递的消息数。它以每个节点每秒数十万条消息为基准进行了很好的基准测试，每个节点线性地扩展。如果一个或两个节点不够用，您可以随时添加更多节点以提高吞吐量。
一个具有3个节点的旧基准测试每秒要处理80万条消息（〜80 mb），每条消息都被复制到其他节点。
您可以在这里进一步了解： https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines
编辑： Kafka连接是tcp连接，其背后是： https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-Network
报价：
Kafka uses a binary protocol over TCP. The protocol
defines all apis as request response message pairs.
TCP套接字连接非常轻巧，仅受所连接服务器的可用内存的限制。一些Kafka可以线性扩展，您应该可以扩展代理并为您预期的任何负担分配主题