httpwebrequests速度

Question

我正在使用httpwebrequest类下载页面的标题信息以查看页面是否存在。所以我将方法设置为使用多个线程。 但是我每30秒只能获得1,000个请求。

我已经完成了所有可能的优化。 我将代理设置为null以避免检查，并且超时在20000ms时效果最佳。

System.Net.ServicePointManager.DefaultConnectionLimit也增加到了使用的线程数量（即50）。

我需要检查的是，如果页面存在（404或不存在），我还能做些什么来提高速度吗？

我使用的另一种选择是webclient，但我无法将其设置为仅限于头部。

这是我现在使用的

HttpWebRequest req;

HttpWebResponse response;

bool ret;


req = WebRequest.Create("http://" + url) as HttpWebRequest;
req.Method = "HEAD";
req.Timeout = timeout;
req.Proxy = null;

response = req.GetResponse() as HttpWebResponse;
ret = (response.StatusCode == HttpStatusCode.OK);