默认情况下,spark的Cache内存限制是多少?

时间:2017-01-06 04:23:39

标签: apache-spark pyspark spark-streaming

spark中缓存的最大限制是多少?它可以同时保存多少数据?

3 个答案:

答案 0 :(得分:0)

它实际上完全取决于执行者记忆。 Spark将在内存中占用大部分RDD,其余部分将在每次需要时即时获取并重新计算。它完全可配置,您可以查看它here

答案 1 :(得分:0)

this。默认情况下为0.6 x (JVM heap space - 300MB)

答案 2 :(得分:0)

我可能错了,但据我了解,这是计算

什么是执行程序内存。可以说是1 GB。

然后堆大小为0.6,即600 MB

然后,堆大小的50%是缓存。即300 MB。

http://spark.apache.org/docs/latest/tuning.html#memory-management-overview,他们必须假定执行程序内存为500 MB。实际上,对于本地执行程序内存,默认大小为500 MB。如果执行器内存为500 MB,则仅将150 MB分配给缓存