Spark结构流中的动态查询列表

Question

我的目标是在Spark的结构化流API中应用聚合查询的可变列表。我有一个查询列表存储在关系数据库表中（在spark之外）。

在启动时，数据库中存在的查询列表可以通过以下代码正常运行，但是在火花流作业启动之后添加的查询将被忽略。

QueriesAPI.pullQueriesFromMysql();
StreamingQuery query = null;
for( String thisQuery : queries ){
    query = spark.sql(thisQuery).writeStream().outputMode("complete").format("console").start();
}
query.awaitTermination();

不同的是，我希望运行聚合查询的动态列表而无需重新启动spark作业。

此查询的添加/删除由单独的应用程序管理。 （整体式冰雹）