在4000万短字符串中存储和查找的最佳选择?

时间:2014-07-28 07:00:22

标签: mysql multithreading web-scraping

我正在编写一种多线程Web抓取工具,需要存储大量当前处理过的ID(它们是字符串,长度为20-25位),而我的抓取算法需要大致相同数量的插入和查找(查找是检查,数据库中是否存在给定的ID)。所以我正在寻找一些可以帮助我做这件事的软件,请你告诉我什么?

目前我正在考虑使用索引编写MySQL(因为MySQL易于使用并且它是线程安全的[我需要线程安全]),但也许有另外一个很好的选择?

谢谢。

0 个答案:

没有答案
相关问题