java - 如何使用Jsoup搜寻单个网站？

我从网站主页开始。我正在解析整个网页，并且正在收集该主页上的所有链接并将它们放在队列中。然后，我从队列中删除每个链接，并做同样的事情，直到获得所需的文本为止。但是，如果我获得了youtube.com/something之类的链接，那么我将转到youtube上的所有链接。我想限制这个。

我只想在同一个域内进行爬网。我怎么做？

private void crawler() throws IOException {
    while (!q.isEmpty()){
        String link  = q.remove();
        System.out.println("------"+link);
        Document doc = Jsoup.connect(link).ignoreContentType(true).timeout(0).get();
        if(doc.text().contains("publicly intoxicated behavior or persistence")){
            System.out.println("************ On this page ******************");
            System.out.println(doc.text());
            return;
        }
        Elements links = doc.select("a[href]");
        for (Element link1 : links){
            String absUrl = link1.attr("abs:href");
            if (absUrl == null || absUrl.length() == 0) {
                continue;
            }
//          System.out.println(absUrl);
            q.add(absUrl);
        }
    }
}

最佳答案

This article显示如何编写Web搜寻器。以下行强制所有爬网链接都位于mit.edu域上。

if(link.attr("href").contains("mit.edu"))

该行可能存在错误，因为相对URL不具有域。我建议添加abs:可能更好。

if(link.attr("abs:href").contains("mit.edu"))