SparkException：作业因阶段失败而中止：阶段3.0中的任务0“

Question

当我尝试在Scala中使用不同的线程加载多个数据帧时，是否有人知道为什么会出现此错误。

  

SparkException：作业因阶段失败而中止：阶段3.0中的任务0

这是我的代码：

val dataFrame = connector.createDataFrame(query)
dataFrame.printSchema()
println(dataFrame.count())

val dataFrame2 = connector.createDataFrame(query2)
dataFrame2.printSchema()
println(dataFrame2.count())

问题是当我尝试执行任何操作时，并不是因为内存不足，因为每个Dataframe只有100行。