Sqlite3比grep慢约6倍

时间:2014-10-28 02:29:03

标签: python bash sqlite grep

我有一张188万行的表和一个188万行的文本文件,如下所示:

CREATE TABLE trigram (count integer, A text, B text, C text)
time echo 'select * from trigram where C="mailman";'|sqlite3 3g.db
18.419 seconds.
time grep 'mailman$' N-Grams/3g
3.137 seconds

或更复杂的查询,如

time grep 'the [^ ]* mailman$' N-Grams/3g 
2.879 seconds
time echo 'select * from trigram where A="the" and C="mailman";'|sqlite3 3g.db
15.839 seconds

有什么方法可以加快sqlite3的速度吗?

1 个答案:

答案 0 :(得分:7)

创建索引:

CREATE INDEX idx_trigram_col_c ON trigram(C);

然后再试一次。

您可以使用覆盖索引在第二个查询上获得更快的速度:

CREATE INDEX idx_trigram_col_c ON trigram(C, A);

CREATE INDEX idx_trigram_col_c ON trigram(A, C);

(如果列具有不同的分布,则首先使用更多的值)。