有哪些方法可用于实现大型数据库驱动数据的本地缓存?

时间:2012-12-06 11:06:22

标签: database caching replication time-series distributed-caching

我的公司维护着许多过程数据的大型时间序列数据库。我们在伪中心位置实现子集的副本。我从笔记本电脑访问数据。通过内部WAN甚至伪中央服务器的数据访问相当昂贵(时间)。

我想在我的笔记本电脑上本地缓存数据请求,这样当我第二次访问它时,我实际上是从本地数据库中提取的。

我可以包装一个相当丑陋的客户端DAO以维护缓存,但我不确定如何让“官方”客户端应用程序轻松地与缓存进行通信。我可以自由编写自己的“客户端”图形/绘图系统,并且已经有一个自定义应用程序可以执行一些数据挖掘。自定义应用程序将数据转储到.csv文件中,这些文件是在非常临时的基础上手动移动的。

这种缓存/同步的最佳方法是什么?哪些工具可以实现缓存?

有关详细信息,原始数据集我估计每年大约5-8Tb的RAW时间序列数据,其中至少有一半的数据是非常可压缩的。我只想在本地缓存说几百Mb。当对数据进行即席查询时,它往往在非常小的数据块上非常重复。

0 个答案:

没有答案