SnappyData使用参数向集群提交jar

时间:2017-10-10 22:04:05

标签: snappydata

SnappyData文档提供了有关如何将jar提交到集群的示例:

https://snappydatainc.github.io/snappydata/howto/run_spark_job_inside_cluster/

但是,如果我需要使用相同的类CreatePartitionedRowTable提交jar,该怎么办? 多次,但有不同的参数,说不同的后缀附加到创建的表的名称,我该怎么做?

更新:

更确切地说,当我提交jar时,我想提交带有不同参数的jar,就像这样

bin/snappy-job.sh submit
    --app-name CreatePartitionedRowTable
    --class org.apache.spark.examples.snappydata.CreatePartitionedRowTable
    --app-jar examples/jars/quickstart.jar
    --lead localhost:8090
    --CustomeParam suffix

附加

--CustomeParam suffix

将被传递到作业,代码可以获取此参数后缀,并将后缀附加到要创建的表名,这样我就不必每次都修改我的代码想要提交带有不同后缀的jar。

更新2:

我刚刚完成了示例并找到了一个示例用法: https://github.com/SnappyDataInc/snappydata/blob/master/examples/src/main/scala/org/apache/spark/examples/snappydata/CreateColumnTable.scala

所以基本上这样运行:

 *   bin/snappy-job.sh submit
 *   --app-name CreateColumnTable
 *   --class org.apache.spark.examples.snappydata.CreateColumnTable
 *   --app-jar examples/jars/quickstart.jar
 *   --lead [leadHost:port]
 *   --conf data_resource_folder=../../quickstart/src/main/resources

并使用config获取自定义参数。

1 个答案:

答案 0 :(得分:1)

每次使用snappy-job.sh提交app jar时,它都会创建一个新Job并运行它。它可能是具有不同内容的相同jar。您是否看到任何异常或修改后的类(CreatePartitionedRowTable)未被选中?