高效过滤/搜索

时间:2008-11-19 17:22:33

标签: mysql search lucene filtering saas

我们有一个管理内容页面的托管应用程序。每个页面都可以有多个自定义字段和一些标准字段(时间戳,用户名,用户电子邮件等)。

可能有数百个不同的网站使用该系统 - 处理过滤/搜索的有效方法是什么?画出要缩小的网格视图。您可以过滤特定字段(用户ID,日期),也可以输入全文搜索。

例如,“由userid 10启动的所有页面”对MySQL数据库来说都是一个非常快速的查询。但是诸如“用户ID为10且与[某些搜索查询]相匹配的用户启动的所有页面”都会对数据库产生影响,因此它适用于像Lucene这样的搜索引擎。

基本上我想知道其他大型网站是如何做这种事情的。他们是否100%使用搜索引擎进行所有类型的过滤?他们是否将数据库查询与搜索引擎混合在一起?

如果我们仅使用 搜索引擎,则新/更新对象在搜索索引中显示的延迟时间会出现问题。也就是说,我已经读过,立即更新索引 并且批量更新它并不聪明。即使这意味着每5分钟一次,当用户查看简单的页面列表时(例如“类别:5”的搜索查询),当他们最近添加的页面没有立即列出时,用户会感到困惑。

我们正在使用MySQL并一直在密切关注Lucene的搜索。还有其他一些我不知道的技术吗?

我的想法是提供一个简单的过滤页面,它使用MySQL过滤基本字段。然后提供一个单独的全文搜索页面,其中会显示与Google类似的结果。这是唯一的方法吗?

3 个答案:

答案 0 :(得分:2)

Solr或grassyknoll都为Lucene提供了更抽象的接口。

那说:是的。如果您是一个主要由内容驱动的网站,提供全文搜索您的数据,那么除了LIKE之外还有其他一些功能。虽然MySql的FULLTEXT索引不完美,但在过渡期间它可能是一个可接受的占位符。

假设您确实创建了Lucene索引,将Lucene Documents链接到您的关系对象非常简单,只需在索引时将存储的属性添加到文档中(此属性可以是URL,ID,GUID等)然后,搜索成为两阶段系统: 1)向Lucene索引发出查询(显示标题之类的简单结果) 2)通过密钥

从关系存储中获取有关对象的更多详细信息

由于在Lucene中实例化文档的成本相对较高,因此您只想存储在Lucene索引中搜索的字段,而不是完整的关系对象克隆。

答案 1 :(得分:0)

不要轻易注销MySQL!

使用数据库实施,例如在where子句或其他内容中使用'like'的选择。

对其进行配置,必要时添加索引。推出测试版,这样您就可以从用户的实际数据模式中获得实数 - 并非所有列都可以在之后同等地询问,等等。

如果表现很糟糕,那么当你考虑其他选择时就是这样。您可以考虑调整SQL,数据库,运行数据库的机器,最后使用其他技术堆栈......

答案 2 :(得分:0)

如果您想使用MySQL或PostgreSQL,可以使用它的开源解决方案是Sphinx: http://www.sphinxsearch.com/

我们遇到了同样的问题,并将Sphinx和Lucene视为可能的解决方案。

相关问题