数据提取-并发大规模并行处理

时间:2018-07-30 10:41:05

标签: concurrency apache-nifi esb nodejs-stream

我正在寻找具有并发性的大规模并行处理系统,该系统每500毫秒可以为超过一百万个IoT设备提供无缝的数据提取解决方案。

寻找具有不同协议的开放源代码的高度可扩展的丰富库,这些库支持ESB,并且可以无故障地管理多线程。

Apache Beam,Apache Nifi或Apache Camel或WSO2是更好的选择。

1 个答案:

答案 0 :(得分:0)

我最喜欢的提取解决方案是Apache NiFi。让我只说几句似乎可以涵盖您所寻找的内容:

丰富度:撰写本文时,NiFi附带了约280个处理器,可让您轻松处理许多数据源

可伸缩性:事实证明,NiFi可以并行处理节点混乱的情况,每秒可处理大量数据和大量事件

开源:NiFi是100%开源

全面披露:我尚未与您提到的其他解决方案合作,而是NiFi背后的推动力Cloudera的雇员。