Question

当我尝试运行pyspark程序时出现以下错误：

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2:   
/usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied
/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: 
exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

我试过了：

unset SPARK_HOME && spark-submit

然后我得到了一个不同的错误：

KeyError: 'SPARK_HOME

知道怎么解决这个问题吗？我在OSX 10.11上运行python 2.7

Answer 1

export SPARK_HOME=/path/to/spark/installation
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

在您的终端上执行以上操作允许您将SPARK_HOME添加为环境变量，该变量稍后会附加到您的PYTHONPATH。

Answer 2

检查以下权限：

/usr/local/Cellar/apache-spark/2.0.2/libexec/bin/load-spark-env.sh

我遇到了类似的问题，该文件被标记为“只读”＃39;对我（我的用户ID）和执行权限只对root。

请注意，当您调用pyspark时，它会重定向到上面的shell脚本。所以你可以触发这个过程但是因为实际的shell脚本没有＆＃39; x＆＃39;权限给你 - 它失败了。

或者，sudo -H pyspark也可以做到这一点。

快乐的火花！

使用pyspark时，Permision被拒绝

2 个答案: