例外：worker中的Python与驱动程序2.6中的版本不同，PySpark不能运行不同的次要版本

Question

我们有一个625个节点的hadoop集群。但其中一些是centos 6（python 2.6），有些是centos 7（python 2.7）。那么我怎么能解决这个问题，因为我不断得到这个错误。

Answer 1

在每个节点上至少安装Python 2.7，并配置SPARK_PYTHON环境变量以指向所需的安装。 Spark不支持混合环境，不再支持Python 2.6。