在启用spark的DSE中可以为Cassandra分配多少内存?

时间:2016-02-26 03:10:36

标签: apache-spark cassandra datastax datastax-enterprise

目前我的DSE Cassandra耗尽了所有内存。因此,经过一段时间和增加的数据量,整个系统崩溃。但是火花和操作中心和代理等也需要几个G内存。我现在只想将一半的内存分配给cassandra,但不确定这是否有效。

这是我的错误消息:

console.writeline

1 个答案:

答案 0 :(得分:3)

默认情况下,DSE将Executor内存设置为 $scope.pushIt = function() { if ($scope.number) $scope.numbers.push($scope.number); } 。这应该适用于大多数系统。通过这种设置,Spark应该不能使用OOM C *或者反之亦然。如果你想改变那个乘法器(.7),它在dse.yaml文件中设置为

(Total Ram)*(.7) - Ram Used By C*

如果我要为系统寻找最小内存,它将是16GB,但如果你是认真的话,我建议至少32GB。如果你正在进行大量的内存缓存,这应该会增加更多。

相关问题