数值数据 - 高音量+高速+快速检索

时间:2013-05-09 05:50:31

标签: hadoop cassandra bigdata analytics apache-storm

我的数据看起来像每帧10万个数值(实数+二进制)(想想数组,即数组的一行中有10万个元素),并且大约有100帧/秒。一种时间序列。

对我来说,挑战是:

(1)存储 - 数据量

(2)处理数据速度

(3)实时分析

Cassandra适合这个吗?任何人都可以在应用程序架构(Think hadoop,cassandra,kafka,storm等)上指导我,这将在上面的场景中得到解决(从非常高的角度来看)。

我知道我问了一件大事。在试验之前我需要一个方向。

1 个答案:

答案 0 :(得分:2)

作为存储引擎或处理数据速度,Cassandra和Hadoop会以绚丽的色彩传递。

现在进入实时部分,Cassandra可以为您提供近乎实时的解决方案,而单独的Hadoop是不够的(批量性质,地图减少工作)。您可以尝试使用带有Storm的Hadoop,这将为您提供近乎实时的功能,但它会增加解决方案的复杂性(使用spout和bolt)。也 您可以尝试一些规则引擎,它将为您提供实时解决方案的额外优势。