风暴拓扑的设计模型

时间:2015-08-07 09:20:51

标签: performance apache-kafka apache-storm maintainability

我正在使用Apache Kafka& Apache Storm集成。 我需要设计一个模型。这是我的拓扑规范:

我在Kafka中配置了主题。让我们说 customer1 。现在,风暴螺栓将读取来自 customer1 kafka-spout的数据。它处理数据并写入mongo和cassandra db。这里的数据库名称也与kafka主题 customer1 相同。表结构和剩下的东西都是一样的。

现在,假设我得到一位新客户,请说 customer2 。我需要从 customer2 kafka-spout读取数据并将其写入mongo和cassandra db,其中db名称将 customer2

我可以想到两种方法。

  1. 我会编写一个螺栓,只要新的客户名称被添加到Kafka主题中,它就会被触发。该螺栓将具有代码,该代码将创建新拓扑并将其提交给集群。

  2. 我将为所有客户创建独立的罐子并手动提交拓扑。

  3. 我搜索了很多关于它但没有得到哪种方法更好。

    在效率,代码可维护性和为现有模型添加新更改方面,上述指定方法的PRO和CON是什么?

    还有其他方法可以解决这个问题吗?

0 个答案:

没有答案
相关问题