SOLR - 从Postgresql索引数百万行数据

Question

我想索引一个包含postgre sql server中数百万行数据的表。什么是更好的方法...使用数据导入处理程序直接从数据库索引或首先将数据转储到csv然后索引存储在本地的csv文件，为什么？

Answer 1

我更喜欢直接从数据库索引。 我会采取以下方法。

1. 在现有数据库中创建分区。您可以创建6个月或3个月或一年的分区。这一切都取决于您的要求。 这将有助于您更快地从数据库中检索数据。

2. 然后在data-config.xml中添加查询以检索solr的数据并索引数据。您可以在小块中以及应用程序数据库上的负载较少时索引数据。最好每晚进行索引。

分区数据库的另一个好处是，它可以帮助您检索应用程序其他部分的数据。

我不喜欢第二种方法，因为它很耗时。获取csv文件中的数据，然后添加到solr进行索引。

另一个问题是转换为csv文件对我们没用，所以为什么要投入时间。

如果您的数据偶然被修改，它将不会反映在csv文件中。