在IntelliJ IDE中配置Scala脚本以通过spark-submit运行spark独立脚本

Question

我想运行一个我已用sbt package命令编译过的独立Spark脚本。如何设置Scala脚本的正确配置以在IntelliJ IDE中运行我的脚本？目前我正在使用带有以下命令的命令行来运行它（但我想在IntelliJ中运行以进一步调试，例如）：

~/spark-1.2.0/bin/spark-submit --class "CoinPipe" target/scala-2.10/coinpipe_2.10-1.0.jar /training/data/dir 7 12

贝娄是我想要做的事情的快照：

Answer 1

我意识到这篇文章很旧，但是我遇到了同样的问题并找到了解决方案，所以我想把它张贴在这里。

• 使用主类创建Java应用程序运行配置：

  org.apache.spark.deploy.SparkSubmit
  

• VM选项应至少包括spark conf和jars的类路径：

  -cp "c:\spark\conf\;c:\spark\jars\*"
  

• 程序参数应包含jar文件作为第一个参数，然后是要传递给程序的实际程序参数：

  yourapp.jar arg1 arg2
  

• 模块的使用类路径应设置为您的模块。

Answer 2

尝试以下步骤：

1. 安装sbt插件：转到文件 - ＆gt;设置 - ＆gt;插件 - ＆gt;安装IntelliJ插件 - ＆gt;搜索sbt并安装它。
2. 安装sbt插件后，重新启动intellij并启动新的Scala sbt项目（文件 - ＆gt;新项目 - ＆gt; Scala - ＆gt; SBT）。
3. 现在打开build.sbt文件并添加所有依赖项。
4. 现在在src中创建一个新的Scala类 - ＆gt;主要 - ＆gt; scala并输入您的代码。
5. 右键单击并按“运行”。

注意：您可能希望某些时候重新启动intelliJ以从build.sbt文件中提取依赖项。

Answer 3

您可以将spark-submit设置为External Tool。但它不会在运行菜单中。