如何使用多个CPU进行火花提交

时间:2019-08-02 00:37:33

标签: spark-submit

我想spark-submit使用多个CPU。

top

这是我在Ubuntu 16-04中键入top1命令时看到的。

输入时
nohup ./bin/spark-submit --class MYCLASS --master local[*] --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.3 --num-executors 2 MYJAR.jar
我只使用一个核心和一个执行程序,可以显示为

executor

由于我有4个CPU,所以我想使用2个执行程序,每个执行程序使用2个内核。 (2 * 2 = 4)

但是--num-executors选项对我没有帮助。我该怎么办?
谢谢。

0 个答案:

没有答案