spark-env.sh中的PYSPARK_PYTHON会出错

时间:2015-08-13 21:20:01

标签: python-3.x apache-spark

我在CentOS上安装了Spark。这是默认的2.6 Python。我想使用最新版本,所以我将它安装在一个单独的位置/usr/local/Python-3.3.5。要使用Spark的Python API,我修改了spark-env.sh配置文件。目前尚不清楚我是否使用了正确的语法。当我使用./pyspark命令启动spark时,它会给出一个权限被拒绝的错误。这就是我目前所拥有的:

export PYSPARK_PYTHON=/usr/local/Python-3.3.5/

我也试过PYSPARK_PYTHON=/usr/local/Python-3.3.5/(没有导出)。还有同样的问题。

有人可以提出可能存在的问题吗?我还检查了Spark&的所有者。 Python和它们都归root所有。

1 个答案:

答案 0 :(得分:0)

您需要指向您的可执行文件python

export PYSPARK_PYTHON=[YOUR_PYTHON_PATH]/bin/python