设计近实时流后端

时间:2012-02-02 15:58:55

标签: solr streaming nosql

我对设计流后端有以下要求:

  1. 文档正在以每秒20个文档的速度添加。每个文档都有一个时间戳字段。
  2. 搜索主要基于时间戳范围(例如,显示我最近20分钟到达的文件)
  3. 搜索QueriesPerSecond:100次搜索/秒
  4. 可以连续删除超过2天的文档以进行优化(通过cron)
  5. 我正在考虑使用Solr(使用SolrReplication / NRT)。 Solr的问题基本上是频繁的更新/删除。对于最新的数据,我需要对每次更新进行提交(否则搜索者无法看到数据)。设置pollInterval~1分钟可能会终止主服务器。 NRT / SolrCloud可能是一个选项,但不太确定它们的稳定性。

    基于SQL / NoSQL架构的任何其他方法/建议?

1 个答案:

答案 0 :(得分:0)

mysql + memcached。 Facebook在这两个广泛可用,广泛支持的免费和开源软件包上运行他们的整个网站。