PostgreSQL根据数组值的组合选择行

时间:2015-03-30 22:04:47

标签: sql arrays postgresql select twitter

我想从我的数据库中选择所有行,其中一行包含一组单词/数组中的至少两个术语。

举个例子: 我有以下数组:

'{"test", "god", "safe", "name", "hello", "pray", "stay", "word", "peopl", "rain", "lord", "make", "life", "hope", "whatever", "makes", "strong", "stop", "give", "television"}'    

我收到了存储在数据库中的推文数据集。所以我想知道哪些推文(列名: tweet.content)包含 至少两个的单词。

我当前的代码看起来像这样(当然它只选择一个单词......):

CREATE OR REPLACE VIEW tweet_selection AS 
SELECT tweet.id, tweet.content, tweet.username, tweet.geometry,
FROM tweet
WHERE tweet.topic_indicator > 0.15::double precision
AND string_to_array(lower(tweet.content)) = ANY(SELECT '{"test", "god", "safe", "name", "hello", "pray", "stay", "word", "peopl", "rain", "lord", "make", "life", "hope", "whatever", "makes", "strong", "stop", "give", "television"}'::text[])

所以最后一行需要以某种方式调整,但我不知道如何 - 也许是内部联接?!

我的单词也在另一个表中以唯一的id存储。

我的一位朋友建议为每一行获取一个计数,但我没有在原始表中添加额外列的写入权限。

背景

我将我的推文存储在postgres数据库中,并在数据集上应用了LDA(Latent dirichlet分配)。现在我得到了生成的主题和与每个主题相关的单词(20个主题和25个单词)。

1 个答案:

答案 0 :(得分:0)

select DISTINCT ON (tweet.id) tweet.id, tweet.content, tweet.username, tweet.geometry
from tweet
where
    tweet.topic_indicator > 0.15::double precision
    and (
        select count(distinct word)
        from
            unnest(
                array['test', 'god', 'safe', 'name', 'hello', 'pray', 'stay', 'word', 'peopl', 'rain', 'lord', 'make', 'life', 'hope', 'whatever', 'makes', 'strong', 'stop', 'give', 'television']::text[]
            ) s(word)
            inner join
            regexp_split_to_table(lower(tweet.content), ' ') v (word) using (word)
    ) >= 2