Spark Streaming Job内存使用量随时间增加

Question

我正在用纱线群集模式运行火花流作业。这将从kafka Queue中获取记录，然后创建数据集并对数据集执行一些操作。在有一些异常的处理时间之后，作业顺利运行了大约一个小时。我已经看到消耗的内存随着时间逐渐增加。我已经使用spark.cleaner.ttl清理内存。但是仍然存在这个问题。