Trigram Index ORDER BY优化

时间:2018-12-19 14:05:24

标签: postgresql database-indexes postgresql-10 pg-trgm

我正在尝试实现搜索功能,经过一番调查(请参阅this interesting read by Yorick Peterse at GitLab),我决定选择使用pg_trgm扩展名的Trigram方法。

我想返回10个最相关的行。

以下是我针对具有110868行的表测试过的几个查询(在the doc之后):

SELECT name, similarity(name, 'search query') AS sml
FROM table
ORDER BY sml DESC, name;
Time: 701.814 ms

SELECT name, similarity(name, 'search query') AS sml
FROM table
WHERE name % 'search query'
ORDER BY sml DESC, name;
Time: 376.692 ms

SELECT name, similarity(name, 'search query') AS sml
FROM table
WHERE name % 'search query'
ORDER BY sml DESC, name LIMIT 10;
Time: 378.921 ms

具有GiST索引:

CREATE INDEX trigram_index ON table USING GIST (name gist_trgm_ops);
SELECT name, similarity(name, 'search query') AS sml
FROM table
WHERE name % 'search query'
ORDER BY sml DESC, name LIMIT 10;
Time: 36.877 ms

具有GIN索引:

CREATE INDEX trigram_index ON table USING GIN (name gin_trgm_ops);
SELECT name, similarity(name, 'search query') AS sml
FROM table WHERE name % 'search query'
ORDER BY sml DESC, name LIMIT 10;
Time: 18.992 ms

使用EXPLAIN ANALYZE:

 Limit  (cost=632.37..632.39 rows=10 width=25) (actual time=22.202..22.204 rows=10 loops=1)
   ->  Sort  (cost=632.37..632.64 rows=111 width=25) (actual time=22.201..22.201 rows=10 loops=1)
         Sort Key: (similarity((name)::text, 'search query'::text)) DESC, name
         Sort Method: top-N heapsort  Memory: 26kB
         ->  Bitmap Heap Scan on table  (cost=208.86..629.97 rows=111 width=25) (actual time=6.900..22.157 rows=134 loops=1)
               Recheck Cond: ((name)::text % 'search query'::text)
               Rows Removed by Index Recheck: 2274
               Heap Blocks: exact=2257
               ->  Bitmap Index Scan on trigram_index  (cost=0.00..208.83 rows=111 width=0) (actual time=6.532..6.532 rows=2408 loops=1)
                     Index Cond: ((name)::text % 'World of Warcraft'::text)
 Planning time: 0.073 ms
 Execution time: 18.521 ms

使用GIN索引可以大大提高性能。但是,将结果限制为10行似乎没有任何影响。

我还没有考虑过改进的余地吗?我对一些建议特别感兴趣,这些建议可以利用我只需要整个表的一小部分的事实。

1 个答案:

答案 0 :(得分:1)

正如the documentation所说,GIN索引无助于优化ORDER BY子句:

  

上述查询的一种变体是

SELECT t, t <-> 'word' AS dist
FROM test_trgm
ORDER BY dist LIMIT 10;
     

这可以通过GiST索引非常有效地实现,而不能通过GIN索引有效地实现。当只需要少量最接近的匹配项时,通常会击败第一个公式。

另一方面,对于较大的表,GIN索引的性能通常优于GiST索引。

因此,我认为您应该同时尝试这两种方法,并在实际大小的测试表上使用速度更快的方法。

除了使用更多的RAM来缓存数据之外,我认为您不能做得更多。