Question

我正处于学习火花的初学阶段。我刚刚开始使用pyspark使用python进行编码。虽然通过基本代码我在Jupyter笔记本上遇到了这个错误。好吧，我已经在我的电脑上安装了火花，它处于工作状态。我的问题是当我进入＆＃34; pyspark＆＃34;在我的Ubuntu终端上，它直接进入jupyter的webUI。它没有进入Interactive shell。我不知道为什么？

第二次，当我运行以下代码时，我收到错误..

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('appName').setMaster('local')
sc = SparkContext(conf=conf)
data = range(10)
dist_data = sc.parallelize(data)
print(dist_data.reduce(lambda a, b: a+b))

以上代码的错误是......

Error Message

ValueError：无法一次运行多个SparkContexts;现有的SparkContext（app = PySparkShell，master = local [*]）由/home/trojan/.local/lib/python3.6/site-packages/IPython/utils/py3compat.py:186
创建

这是什么意思？请告诉我可能是什么错误！抱歉错误图片我无法将其粘贴清楚所以我粘贴了错误的屏幕截图希望它能正常工作！

Answer 1

您只能为一个python内核（笔记本）运行一个spark上下文。如果你需要另一个火花环境你可以打开另一个笔记本，否则，在同一个笔记本上没有多个火花上下文的原因，你可以多次使用它，取决于你的问题。

Answer 2

检查是否已多次调用SparkContext（）。使其合一

Answer 3

请尝试使用此代码-

from pyspark import SparkContext
sc = SparkContext.getOrCreate();

无法一次运行多个SparkContexts

3 个答案: