未缓存的数据帧存储在哪里?

时间:2018-10-31 02:16:04

标签: apache-spark memory storage

我最近正在学习Spark Storage管理,但是对于在创建数据框时将其存储在何处感到困惑。例如,

df = sc.sql("sql expression")

我知道如果我缓存了这个数据帧,它将被存储在执行器的内存的存储部分(由spark.storage.memoryFraction控制)中。

但是在我缓存它之前,它存储在哪里?在驱动程序还是执行器上?以及哪一部分(JVM堆,存储,展开或开销内存)?

我的spark版本是1.5.1,并且存储管理模式与Spark 1.6及更高版本的Legacy模式相同。

0 个答案:

没有答案
相关问题