如何在spark中使用.debug api？

Question

我试图在Scala Spark中使用.debug api。

例如，用：

val df = spark.read.format("json").load(path).as[Employee]
df.show()
df.debug()

我得到了这个例外：

    java.io.NotSerializableException: ...
18/03/12 10:53:06 WARN SerializationDebugger: Exception in serialization debugger
java.lang.NullPointerException

Answer 1

使用explain或toDebugString

https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.Dataset@explain(extended:Boolean):Unit

或df.rdd.toDebugString