Spark Streaming用于多个数据源

时间:2015-04-10 12:24:24

标签: apache-spark spark-streaming

我们希望使用SparkStreaming设计/开发DataConnector服务。 数据连接器服务将允许用户指定源和目标数据库,以及 连接参数相同。因此,动态数据连接请求需要由系统处理。我们希望有一个流处理作业可以处理对Data Connector服务发出的所有连接请求。 我们建议以下列方式处理: 对DataConnector服务发出的所有连接请求都将在我们的" meta-store"数据库。 我们将有一个自定义接收器,它从元存储中获取所有活动连接请求,并使用接收器的DStream结果(数据库名称,连接字符串等)从多个数据库中获取数据并处理相同的数据。

这种方法有什么问题吗?

0 个答案:

没有答案
相关问题