使用Geo进行大数据存储,以便频繁更新

时间:2015-10-25 16:24:51

标签: django bigdata geospatial datastore

我必须为我的项目选择一个大数据存储

它必须包括Geo(lat,lon和基于它的一些计算,例如距指定位置的距离)。

数据会经常更新。我计划每分钟更新大约20k-80k的物体。它将总共存储大约500k个对象。每分钟我都会得到一组~50k的XML对象。我需要解析它并更新现有的并加上新的。

基于特定字段,所有对象都是唯一的。 在某些时候,我必须添加存储历史数据(每个对象3周后,每分钟更新一次)。

您建议使用什么存储空间?我正在考虑aws redis或mongodb。我担心ppstgresql不会成功。

我的项目是在Django制作的,处理将使用Celery

触发

感谢您的任何建议。

1 个答案:

答案 0 :(得分:0)

您可以将AccumuloGeoMesa插件一起使用。

此站点可帮助您了解如何配置和使用它。我尝试过,当我处理大型空间数据时,当时效果很好。

我使用Cloudera堆栈配置了Accumulo,因为它使配置Accumulo变得简单,但您可以单独安装它。

相关问题