在Druid / Cassandra

时间:2017-01-30 15:12:59

标签: cassandra druid

我们有大量的数据涌入,大约800万行,1秒钟。每行有12个数值(时间戳,整数和浮点数,但没有文本)。我正在寻找Streaming insert,但如果它可以达到速度,我们可以使用Bulk insert进行管理。

查询:我们的查询基本上是聚合。

我看过德鲁伊,但它并不支持我们绝对需要的纳秒时间戳。有没有人成功解决过这个限制?

有没有人成功在Cassandra中插入100万行/秒?它需要什么样的集群?

如有必要,我可以提供更具体的信息。

1 个答案:

答案 0 :(得分:1)

我建议你研究一下kdb +(来自Kx Systems)的高性能时间 - 系列摄取和CEP。它的时间戳有几纳秒的粒度。

在最近的工业物联网应用中,使用一个适中的服务器(2个核心),kdb +维持持续(7x24x365)的摄取率,每秒450万个事件,CPU利用率低。我们使用了kdb +的内存数据库,频繁写入其磁盘数据库。不需要集群。