我们如何增加kafka spout的最大提取大小

Question

我正在使用kafkaspout，我想增加KafkaSpout中的最大提取大小。你能分享一下你的想法吗？

Answer 1

您可以通过以下两种方式之一调整消息提取大小：通过以编程方式更改Kafka spout的配置或直接更改Kafka服务器的配置。

要更改spout的配置，Kafka spout documentation会告诉我们设置spout配置的fetchSizeBytes变量。假设这是在java中完成的：

spoutConfig.fetchSizeBytes = maximumFetchSize;

另一个选项，即调整Kafka配置，首先找到Kafka的server.properties，然后更改该配置，最后重新启动Kafka服务器。

Kafka配置很可能位于Kafka主目录的config目录中。通过向server.properties添加类似于以下内容的内容来调整appropriate configuration value：

message.max.bytes=some_new_integer_value

然后重新启动Kafka进程。最佳做法是在群集中的所有主机上重复此更改。