Question

我是苏打水的新手。我现在如何从sparkling-shell运行我的程序。但是，我不确定如何构建一个独立的应用程序，我可以将其作为spark提交的输入。我需要包含哪些罐来构建我的应用程序？

Answer 1

检查sparkling-water examples，例如ProstateDemo.scala如何编写独立的波光粼粼应用程序（创建h2o上下文等）。

基本上你是need to add sparkling-water-core你的sbt / maven / gradle依赖项，编译你的jar。您有两个选择：

制作一个装有闪闪发光水芯的装配罐。这是我用于sbt的一个例子：

libraryDependencies += "ai.h2o" %% "sparkling-water-core" % "2.0.4" excludeAll(
ExclusionRule(organization = "org.apache.spark"),
ExclusionRule(organization = "org.slf4j"),
ExclusionRule(organization = "com.google.guava"),
ExclusionRule(organization = "org.eclipse.jetty.orbit"),
ExclusionRule(organization = "com.esotericsoftware.kryo"))

编译你的jar并使用--jars或--packages参数来激发提交：

spark-submit --packages ai.h2o:sparkling-water-core_2.11:2.0.4 your_jar.jar

Answer 2

仅供参考：还有含有stb定义的Sparkling Water Droplet：

https://github.com/h2oai/h2o-droplets/blob/master/sparkling-water-droplet/build.sbt

建立一个最小的苏打水应用程序

2 个答案: