默认情况下，spark的Cache内存限制是多少？

Question

spark中缓存的最大限制是多少？它可以同时保存多少数据？

Answer 1

它实际上完全取决于执行者记忆。 Spark将在内存中占用大部分RDD，其余部分将在每次需要时即时获取并重新计算。它完全可配置，您可以查看它here

Answer 2

见this。默认情况下为0.6 x (JVM heap space - 300MB)。

Answer 3

我可能错了，但据我了解，这是计算

什么是执行程序内存。可以说是1 GB。

然后堆大小为0.6，即600 MB

然后，堆大小的50％是缓存。即300 MB。

http://spark.apache.org/docs/latest/tuning.html#memory-management-overview，他们必须假定执行程序内存为500 MB。实际上，对于本地执行程序内存，默认大小为500 MB。如果执行器内存为500 MB，则仅将150 MB分配给缓存