我正在使用Redis作为我的缓存服务器。为了清楚起见,我将存储像'S0007226_2005-07-09': '[15.3462, -1]'
这样的键值对。查询是关于特定键的,而不是基于范围的。为了查询,我使用的是pyredis客户端。
我经常不得不从缓存中获取约100万个键。这种查询对于redis来说太重了,最多需要10秒钟。这里的问题是MGET for n keys in query is an O(n) operation(n是查询中的键数)。我已经添加了用于从日志中查询时间的表。
| Keys | time(ms)|
| 703732 | 6869.66 |
| 26806 | 277.21 |
| 13180 | 137.41 |
| 400 | 5.83 |
| 2589 | 29.04 |
| 180 | 3.6 |
| 98413 | 1009.84 |
| 151994 | 1524.12 |
这似乎很正常,因为键的数量不断增加,时间以O(n)的方式增加。另外,我正在使用redis管道以10K的大块打破密钥列表。
我想将查询时间减少到〜1s或更短。如果不是Redis,我本可以尝试并行请求并合并结果。但是鉴于redis只能在单核上运行,所以在我的理解中,这不是一个可行的选择。可能的出路:
假设我必须从2和3中选择一个。我有什么选择。我是否应该尝试其他一些设计用于更高吞吐量的缓存服务器,或者我可以在查询/存储或设置中进行一些优化以获得更好的结果?
答案 0 :(得分:1)
“如果不是Redis,我本可以尝试并行请求并合并结果。”
您仍然可以并行请求。创建多主机设置并在多个主机之间分片/分发密钥。然后,您可以从多个主服务器并行请求数据。
我还可以从经验中告诉您,没有什么比Redis更快的了,因为它完全是内存中的单线程进程。所以问题2的可能性很小。
我宁愿更改设计,即#1。如果没有,请同时进行多主机设置和请求。
答案 1 :(得分:0)
我不认为您应该同时查询1Mn键。您应该使用内存缓存和Redis缓存构建缓存。
您应该这样查询:
始终使用TTL,TTL将帮助您随时间分布密钥查询,如果您认为许多密钥可能同时失效,则向TTL添加随机增量。
即使在执行此操作后,如果看到单个节点Redis的性能问题也比使用主副本的性能问题大。根据您拥有的密钥数量,您需要拥有10个以上的分片。