我想spark-submit
使用多个CPU。
这是我在Ubuntu 16-04中键入top
和1
命令时看到的。
输入时
nohup ./bin/spark-submit --class MYCLASS --master local[*] --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.3 --num-executors 2 MYJAR.jar
我只使用一个核心和一个执行程序,可以显示为
由于我有4个CPU,所以我想使用2个执行程序,每个执行程序使用2个内核。 (2 * 2 = 4)
但是--num-executors
选项对我没有帮助。我该怎么办?
谢谢。