我们一直在尝试验证＆amp;为我们的生产用途确定Flume性能的基准。
我们已将Flume配置为具有HTTP源，文件频道和放大器。卡夫卡下沉。 硬件：8核，32 GB RAM，CentOS6.5，磁盘 - 500 GB硬盘。 Flume配置：
svcagent.sources = http-source
svcagent.sinks = kafka-sink1
svcagent.channels = file-channel1
# HTTP source to read receive events on port 5005
svcagent.sources.http-source.type = http
svcagent.sources.http-source.channels = file-channel1
svcagent.sources.http-source.port = 5005
svcagent.sources.http-source.bind = 10.15.1.31
svcagent.sources.http-source.selector.type = multiplexing
svcagent.sources.http-source.selector.header = archival
svcagent.sources.http-source.selector.mapping.true = file-channel1
svcagent.sources.http-source.selector.default = file-channel1
#svcagent.sources.http-source.handler =org.eiq.flume.JSONHandler.HTTPSourceJSONHandler
svcagent.sinks.kafka-sink1.topic = flume-sink1
svcagent.sinks.kafka-sink1.brokerList = 10.15.1.32:9092
svcagent.sinks.kafka-sink1.channel = file-channel1
svcagent.sinks.kafka-sink1.batchSize = 5000
svcagent.channels.file-channel1.type = file
svcagent.channels.file-channel1.checkpointDir=/etc/flume-kafka/checkpoint
svcagent.channels.file-channel1.dataDirs=/etc/flume-kafka/data
svcagent.channels.file-channel1.transactionCapacity=10000
svcagent.channels.file-channel1.capacity=50000
svcagent.channels.file-channel1.checkpointInterval=120000
svcagent.channels.file-channel1.checkpointOnClose=true
svcagent.channels.file-channel1.maxFileSize=536870912
svcagent.channels.file-channel1.use-fast-replay=false
当我们尝试从多个客户端（大约40个HTTP客户端）流式传输HTTP数据时，我们可以获得600个请求/秒的最大处理，而不是超出此范围。将Flume的XMX设置增加到4096。
即使我们尝试使用Null Sink（而不是Kafka接收器）。没有得到太多的性能改进。因此，假设阻塞是HTTP源和＆amp;文件频道。
您能不能建议任何微调以改善此设置的性能。