即使使用PYSPARK_PYTHON = python3,Pyspark也不会在纱线群集模式下使用python3

时间:2016-07-25 19:59:57

标签: python apache-spark pyspark ambari

我使用ambari在spark-env.sh中设置了PYSPARK_PYTHON = python3,当我在命令行中尝试'pyspark'时,它运行python 3.4.3。但是,当我使用纱线群集模式提交作业时,它使用python 2.7.9运行。如何使用python3?

1 个答案:

答案 0 :(得分:0)

你需要提供python3的完整路径,如:

subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)