使用--jars vs no jars选项进行spark-submit

时间:2018-12-27 21:19:18

标签: apache-spark spark-submit

我有一个正在云集群上运行的spark应用程序。我的应用程序有工作,而所有其他库都打包成一个胖子罐。

我想知道这两个调用之间的区别:

选项1

spark-submit --deploy-mode client --master yarn --conf 
spark.hadoop.fs.s3.canned.acl=BucketOwnerFullControl --conf  
spark.driver.maxResultSize=5g --class 
com.help.xyz.Job --conf 
spark.app.name=zzzAppName uber.jar <params>

选项2

spark-submit --deploy-mode client --master yarn --conf 
spark.hadoop.fs.s3.canned.acl=BucketOwnerFullControl --conf  
spark.driver.maxResultSize=5g --class 
com.help.xyz.Job --conf 
spark.app.name=zzzAppName --jars uber.jar <params>

这个uber.jar的大小也有限制吗?

0 个答案:

没有答案