spark中缓存的最大限制是多少?它可以同时保存多少数据?
答案 0 :(得分:0)
它实际上完全取决于执行者记忆。 Spark将在内存中占用大部分RDD,其余部分将在每次需要时即时获取并重新计算。它完全可配置,您可以查看它here
答案 1 :(得分:0)
见this。默认情况下为0.6 x (JVM heap space - 300MB)
。
答案 2 :(得分:0)
我可能错了,但据我了解,这是计算
什么是执行程序内存。可以说是1 GB。
然后堆大小为0.6,即600 MB
然后,堆大小的50%是缓存。即300 MB。
http://spark.apache.org/docs/latest/tuning.html#memory-management-overview,他们必须假定执行程序内存为500 MB。实际上,对于本地执行程序内存,默认大小为500 MB。如果执行器内存为500 MB,则仅将150 MB分配给缓存