Question

我有桌子

create table big_table (
id serial primary key,
-- other columns here
vote int
);

这个表非常大，大约有7000万行，我需要查询：

SELECT * FROM big_table
ORDER BY vote [ASC|DESC], id [ASC|DESC]
OFFSET x LIMIT n  -- I need this for pagination

正如您所知，当x是一个很大的数字时，这样的查询非常慢。

为了进行性能优化，我添加了索引：

create index vote_order_asc on big_table (vote asc, id asc);

和

create index vote_order_desc on big_table (vote desc, id desc);

EXPLAIN表明上面的SELECT查询使用了这些索引，但无论如何都有很大的偏移量。

如何在大表中使用OFFSET优化查询？也许PostgreSQL 9.5甚至更新版本都有一些功能？我搜索过但没找到任何东西。

Answer 1

大OFFSET总是很慢。 Postgres必须订购所有行并将可见计算到您的偏移量。要直接跳过之前的所有行，您可以在表格中添加一个已编入索引的row_number（或创建包含所述row_number的{{3}}并使用WHERE row_number > x代替OFFSET x。

但是，这种方法仅适用于只读（或大部分）数据。对可以同时更改并发的表数据实现相同的操作更具挑战性。您需要首先定义所需的行为完全。

我建议使用分页的不同方法：

SELECT *
FROM   big_table
WHERE  (vote, id) > (vote_x, id_x)  -- ROW values
ORDER  BY vote, id  -- needs to be deterministic
LIMIT  n;

vote_x和id_x来自 上一页 的 last 行（适用于{{}} 1}}和DESC）。或者从第一个开始向后。

您已经拥有的索引支持比较行值 - 这是一个符合ANSI SQL的功能，但不是每个RDBMS都支持它。

ASC

或者按降序排列：

CREATE INDEX vote_order_asc ON big_table (vote, id);

可以使用相同的索引我建议您声明列SELECT * FROM big_table WHERE (vote, id) < (vote_x, id_x) -- ROW values ORDER BY vote DESC, id DESC LIMIT n;或熟悉NOT NULL构造：

特别注意两件事：