Apache Flume采样率

Question

在将记录写入HDFS之前，是否可以为Flume指定采样率？是否有一些水槽接收器配置，或者我们是否需要编写我们自己的Flume拦截器进行采样？我在Apache Flume用户指南页面上找不到任何文档。

Answer 1

是的，你可以通过在hdfs sink中指定批量大小来实现这一点：

hdfs.batchSize = 100 // 100 is the default.

您还应该确保指定的通道容量也足够大。