为什么在火花纱网站上还有这么多剩余的加工批次和未完成但成功的工作？

Question

我对yarn网站上看到的内容感到困惑。谁能给我一个提示？非常感谢！

我在spark上运行我的应用程序，我的应用程序按预期运行，但是yarn网站似乎异常。 将Parellel流作业设置为2，这意味着可以并行处理两个流批次。但是，正如我在纱线中看到的那样，正在处理的批次超过了两批，并且某些作业似乎异常。

有人可以为我解释吗？纱线网站上有bug吗？

我的提交命令如下：

#!/bin/bash
source /etc/profile
spark-submit --master yarn \
--deploy-mode cluster \
--driver-memory 38g \
--executor-memory 5g \
--executor-cores 2 \
--num-executors  650\
--conf spark.driver.maxResultSize=0 \
--conf spark.streaming.kafka.consumer.cache.enabled=false \
--conf spark.rpc.message.maxSize=100 \
--conf spark.scheduler.mode=FIFO  \
--conf spark.speculation=true \
--conf spark.speculation.quantile=0.95 \
--conf spark.streaming.concurrentJobs=2 \
--conf spark.kryoserializer.buffer.max=1024m \
--conf spark.kryoserializer.buffer=512m \
--conf spark.locality.wait=200ms \
--conf spark.shuffle.reduceLocality.enabled=true \
--conf spark.streaming.kafka.maxRatePerPartition=1 \
--conf spark.streaming.stopGracefullyOnShutdown=true \
--conf spark.core.connection.ack.wait.timeout=300 \
--conf spark.sql.autoBroadcastJoinThreshold=10485760 \
--conf spark.streaming.backpressure.enabled=true \
--conf spark.default.parallelism=1300 \
--conf spark.streaming.backpressure.initialRate=1\
--conf spark.scheduler.listenerbus.eventqueue.size=100000 \
--class com.tencent.omg.video.VideoDetect_Detect_Long \
/home/GPopenfst_online/videodetect_online/target/videodetect-jar-with-dependencies.jar production 2401 2000