我对pyspark使用什么路径?

时间:2015-11-04 23:07:24

标签: apache-spark environment-variables pyspark

我安装了火花。并且,我可以进入我的spark版本中的bin文件夹,并运行./spark-shell并且它正确运行。

但是,出于某种原因,我无法启动pyspark和任何子模块。

所以,我进入bin并启动./pyspark,它告诉我我的路径不正确。

PYSPARK_PYTHON的当前路径与我运行pyspark可执行脚本的路径相同。

PYSPARK_PYTHON的正确路径是什么?它不应该是导致spark版本的pyspark文件夹中名为bin的可执行脚本的路径吗?

这是我现在拥有的道路,但它告诉我env: <full PYSPARK_PYTHON path> no such file or directory。感谢。

1 个答案:

答案 0 :(得分:2)

  

PYSPARK_PYTHON的正确路径是什么?它不应该是导致spark版本的bin文件夹中名为pyspark的可执行脚本的路径吗?

不,不应该。它应该指向要与Spark一起使用的Python可执行文件(例如os.chdir的输出。如果您不想使用自定义解释器,请忽略它.Spark将使用您系统上可用的第一个Python解释器{ {1}}。