需要帮助确定hbase读取性能的瓶颈

时间:2015-06-19 22:04:20

标签: performance hbase bigdata

我正在对hbase读取性能进行一些测试,特别是在我们的环境中单个区域服务器可以支持多少GETS。区域服务器有24个核心和48G。我们运行的是8G的JVM堆和25G的桶缓存(OffHeap)。提供的数据完全在桶缓存中。

每个客户端连续从整个密钥空间执行“hbase获取列表”,我运行2个客户端命中区域服务器并注意到CPU使用率约为200%,4个客户端约为400%,其中8个是大约800%,但当我将客户端数量增加到16时,CPU徘徊在800到1000%之间(总体使用率约为40%CPU - 24个内核)。

我不认为网络和内存是瓶颈,我不确定为什么hbase没有使用16个客户端的更多CPU。 cpu memory network top

周五15:00左右的峰值是8个客户端的测试,网络速度为100MB / s 而周五18:00之后的峰值是16个clints的测试,网络下降到~75MB / s

我们尝试将hbase.ipc.server.read.threadpool.size设置为50,将hbase.regionserver.handler.count设置为300。

除了网络/内存,我预计CPU使用量会增加,但事实并非如此。找到瓶颈的任何指示都会有很大帮助吗? hbase中还有其他一些可以调整的参数吗?

0 个答案:

没有答案