错误:使用广播时方法__getnewargs __([])不存在

时间:2019-05-15 21:11:37

标签: python apache-spark hive pyspark-sql

我正在运行spark-sql并存储在df和 我正在尝试播放此df 这样我以后可以在复杂的查询中使用它 当我尝试去做 sc.broadcast(df) 我在日志中收到此错误

当不运行广播时,代码运行良好,但是我正在尝试优化sql

from pyspark.sql.functions import broadcast

sc = SparkContext()
df = sqlContext.sql("select * from some table")
sc.broadcast(df)

期望火花作业更快地执行

0 个答案:

没有答案