Question

我是一个超级新人，所以我的问题可能会有一个＆＃34; no duh＆＃34;答案我无法理解。

首先，我下载了spark 1.5.2并将其解压缩。在python文件夹中，我尝试运行pyspark，但是它说了一些需要 main .py的内容，所以我将 init .py复制到 main .py并开始出现奇怪的语法错误。我意识到我正在使用python 2.9，所以我切换到2.7并得到了一个不同的错误：

Traceback (most recent call last):
  File "C:\Python27\lib\runpy.py", line 162, in _run_module_as_main
    "__main__", fname, loader, pkg_name)
  File "C:\Python27\lib\runpy.py", line 72, in _run_code
    exec code in run_globals
  File "C:\spark-1.5.2\python\pyspark\__main__.py", line 40, in <module>
    from pyspark.conf import SparkConf
ImportError: No module named pyspark.conf

我发现这个问题看起来像是同一个错误：What to set `SPARK_HOME` to?

所以我设置我的环境变量（除了使用C：/spark-1.5.2而不是C：/ spark），但这并没有为我修复错误。然后我意识到他们正在使用来自github的spark 1.4。所以我制作了一个新的文件夹并按照他们的方式进行了尝试我被这个命令困住了：

build/mvn -DskipTests clean package

显示错误：

Java HotSpot(TM) Client VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
Error occurred during initialization of VM
Could not reserve enough space for 2097152KB object heap

我尝试添加＆＃34; -XX：MaxHeapSize = 3g＆＃34;但没有变化。注意到评论＆＃34;支持已在8.0＆＃34;中删除，我下载了java 7，但这并没有改变任何东西。

提前致谢

使用python设置/运行Apache Spark时遇到问题（在Windows 10中）

0 个答案: