什么是使用Apache Storm保存数据的正确方法

Question

所以我可以使用Apache Storm在Solr中保存数据。但似乎相同的值被多次保存。现在我正在浏览它的链接，但是naybody请帮助我知道什么是使用Apache Storm保存数据的最佳方式。我正在使用shufflegrouping。

谢谢，

此致

Parag Dharmadhikari

Answer 1

基本上，风暴支持“至少一次”，而不是“完全一次”，因此可以重复数据。

但是这种重复不会没有理由发生，通常是由一些例外引起的。

你需要看看风暴网络用户界面是否有许多按摩失败。那么你应该检查你的代码包含：1。代码中的任何异常？ 2.每条消息都是以正确的方式发出的吗？ 3.进程是否太慢，这将导致超时并使消息失败。

此外，您可以看到storm trident，它支持“一次性”处理。

Answer 2

首先确保您的Solr index is using a unique ID。根据您的情况，您有两种选择：

• 自己在Solr文档中指定唯一ID
• 让Solr使用Solr文档中的数据生成唯一ID。

第一个可能是最简单的。您可能只是哈希输入以获取唯一ID，并将其包含在您发送给Solr的“文档”中。