从pyspark shell

Question

我可以通过输入

从unix命令行运行我的python + pyspark脚本

pyspark script.py

但是如何在pyspark shell中运行script.py？这似乎是一个基本问题，但我无法在任何地方找到答案。我试过了

execfile('script.py')

但我收到的错误包括：

ValueError: Cannot run multiple SparkContexts at once

Answer 1

错误是否来自script.py尝试创建新的SparkContext变量？

启动pyspark交互式客户端时，通常会说： SparkContext available as sc, HiveContext available as sqlContext.

如果您的脚本文件包含sc = SparkContext()，可以尝试对其进行评论。