我安装了火花。并且,我可以进入我的spark版本中的bin
文件夹,并运行./spark-shell
并且它正确运行。
但是,出于某种原因,我无法启动pyspark
和任何子模块。
所以,我进入bin
并启动./pyspark
,它告诉我我的路径不正确。
我PYSPARK_PYTHON
的当前路径与我运行pyspark
可执行脚本的路径相同。
PYSPARK_PYTHON
的正确路径是什么?它不应该是导致spark版本的pyspark
文件夹中名为bin
的可执行脚本的路径吗?
这是我现在拥有的道路,但它告诉我env: <full PYSPARK_PYTHON path> no such file or directory
。感谢。
答案 0 :(得分:2)
PYSPARK_PYTHON的正确路径是什么?它不应该是导致spark版本的bin文件夹中名为pyspark的可执行脚本的路径吗?
不,不应该。它应该指向要与Spark一起使用的Python可执行文件(例如os.chdir
的输出。如果您不想使用自定义解释器,请忽略它.Spark将使用您系统上可用的第一个Python解释器{ {1}}。