什么是将URI存储在磁盘上以便快速读取的最佳数据库？

Question

我正在为链接数据编写Web爬网程序，并且需要在磁盘上存储爬网的URI（不一定是分布式的，但可以是）。我的搜寻器将不断检查存储中是否存在URI。如果存在URI，则不执行任何操作；如果不存在，则将对URI进行爬网并将URI写入存储。刚开始时，由于存储空间将非常空，因此写入的次数将大于读取的次数，但在某些时候，读取的次数将大于写入的次数，我赞成更快的读取速度。我不需要任何加入操作等。 我正在考虑基于文档的NoSQL存储，并且定义了key =“ URI的域”，value =“整个URI的数组”。我不确定是否需要该值的二级索引。

Answer 1

由于您仅对搜索和存储感兴趣，因此SQLite适合您的目的。这是一个轻量级的数据库引擎。

层状。