Lucene Cosine相似度

时间:2015-08-05 15:10:36

标签: java performance solr lucene

前段时间我已经询问了余弦相似度的实现,并且按照推荐我选择了Apache Lucene Engine(Cosines similarity on large data sets)并且仍在处理性能问题,因为与之前的实现相比,结果几乎相同(参见链接)。

因为我对JAVA很陌生,不好意思是我的JAVA不会出现问题,而不是Lucene自己。

包含 250k文档的数据库使用MMapDirectory索引到Lucene。然后我迭代所有数据库并将这些文档与我在事先迭代之前准备好的单个文档进行比较。

我注意到大部分时间花在indexReader.docFreq方法上,我不知道如何优化,因为我没有找到任何工具来监控和检测导致这种缓慢的原因。

我认为它可能是磁盘I / O,因为我选择在文件系统中索引而不是RAM,但在Windows资源管理器中,我看不到任何可以证实我猜测的数据。 我怎样才能找出造成性能问题的所有瓶颈?

也许在谷歌搜索时我已经错过了一些提示/解决方案。

更新

为了实现,我接下来提供了示例post

0 个答案:

没有答案
相关问题