一个收集谷歌和雅虎搜索结果的程序

时间:2011-11-02 02:19:41

标签: search-engine google-search yahoo-search

我想在Google Yahoo上搜索限制在特定国家/地区的论坛和博文。结果将保存到数据库中以进行排序和进一步处理。

从每个搜索结果中,我需要:

  • 网址
  • 日期和时间
  • 域名

我正在开发一个程序,它接受关键字作为输入,程序将自动搜索谷歌和雅虎并将结果保存到数据库。

function OnLoad() {
  // Create a search control
  var searchControl = new google.search.SearchControl();

  // Add in a full set of searchers
  var localSearch = new google.search.LocalSearch();
  searchControl.addSearcher(localSearch);
  searchControl.addSearcher(new google.search.WebSearch());
  searchControl.addSearcher(new google.search.VideoSearch());
  searchControl.addSearcher(new google.search.BlogSearch());
  searchControl.addSearcher(new google.search.NewsSearch());
  searchControl.addSearcher(new google.search.ImageSearch());
  searchControl.addSearcher(new google.search.BookSearch());
  searchControl.addSearcher(new google.search.PatentSearch());

  // Set the Local Search center point
  localSearch.setCenterPoint("New York, NY");

  // tell the searcher to draw itself and tell it where to attach
  searchControl.draw(document.getElementById("searchcontrol"));

  // execute an inital search
  searchControl.execute("VW GTI");
}
google.setOnLoadCallback(OnLoad);

此代码来自Google AJAX搜索API,但似乎没有办法将域,国家/地区,日期和时间指定为搜索条件。此外,它以HTML格式返回结果,这很难将切片并作为搜索结果条目保存到数据库中。

编辑以描述我的具体问题。

1 个答案:

答案 0 :(得分:2)

解析原始HTML应该是你最后的选择。如果他们更改了标记,则必须重新设计解析器。在您使用Google的AJAX Search API提到的“3年”时间段之前,这几乎可以保证发生。

相关问题