大容量数据存储和处理

时间:2016-03-28 22:52:03

标签: oracle hadoop oracle12c bigdata nosql

我正在构建一个新的应用程序,我期待大量的地理位置数据,就像移动对象每5秒发送一次地理坐标一样。此数据需要存储在某个数据库中,以便可以随时用于跟踪地图上的移动对象。所以,我期望每条路线每个移动物体大约有250个坐标。每个物体每天可以运行大约50条路线。我有900个这样的物体要跟踪。因此,每天存储大约1150万个地理坐标。我必须至少在我的数据库中存储大约一周的数据。

此数据基本上用于简单查询,例如查找特定对象和特定路径的所有地理坐标。所以,查询不是很复杂,这些数据不会用于任何分析目的。

所以,我的问题是我应该选择普通的Oracle数据库,例如分布在两个虚拟机上的12C,还是应该考虑一些大数据技术,如NO SQL或hadoop?

关键要求之一是具有高性能。每个查询都必须响应1秒钟。

1 个答案:

答案 0 :(得分:0)

由于您知道数据量(1150万),因此您可以轻松地模拟Oracle DB中的所有方案并在之前进行测试。

我的建议是你需要去日级分区& 2个子分区,如对象&击溃。您的所有业务SQL都必须始终使用正确的分区。

您也可能需要清除旧日数据。或者您可以使用过去几天创建的某种聚合并删除原始数据会有所帮助。 它的可行性很好12C。