Question

之前已多次询问此问题。然而，一些API随着时间的推移而发生了变化，我想知道实现这一点的好方法。

最好的方法是使用谷歌搜索API。但是，https://developers.google.com/custom-search/json-api/v1/overview告诉每天只有100个免费搜索查询。我会要求更多，我不想花钱去做。

我尝试使用简单的REST api，但它主要是JavaScript代码，我似乎无法在响应中找到我需要的内容。

我尝试使用像http://jsoup.org/这样的库，但是，即使它的回复也不包含我需要的信息。

Answer 1

请参阅此Jsoup Crawler示例： http://www.mkyong.com/java/jsoup-send-search-query-to-google/

在java中我使用crawler4j： https://code.google.com/p/crawler4j/

Answer 2

我尝试使用Jsoup并且它有效，尽管前几个结果包含一些不受欢迎的字符。以下是我的代码

package crawl_google;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class googleResults {
public static void main(String[] args) throws Exception{
//pass the search query and the number of results as parameters
google_results("Natural Language Processing", 10);
}
public static void google_results(String keyword, int no_of_results) throws Exception
{
//Replace space by + in the keyword as in the google search url
keyword = keyword.replace(" ", "+");
String url = "https://www.google.com/search?q=" + keyword + "&num=" + String.valueOf(no_of_results);
//Connect to the url and obain HTML response
Document doc = Jsoup
.connect(url)
.userAgent("Mozilla")
.timeout(5000).get();
//parsing HTML after examining DOM
Elements els = doc.select("li.g");
for(Element el : els)
{
//Print title, site and abstract
System.out.println("Title : " + el.getElementsByTag("h3").text());
System.out.println("Site : " + el.getElementsByTag("cite").text());
System.out.println("Abstract : " + el.getElementsByTag("span").text() + "\n");
}
}
}

用于检索谷歌搜索结果的Java Web Crawler

2 个答案: