在Java中实现网络爬虫，可以使用Java内置的java.net.URL和java.net.URLConnection类来发送HTTP请求，也可以使用更高级的库，如Apache的HttpClient和Jsoup，后者可以方便地解析HTML文档。
以下是一个使用HttpClient和Jsoup的Java网络爬虫示例：
首先，你需要添加这些库的依赖。如果你使用Maven，可以在pom.xml中添加以下依赖：
xml复制代码
<dependencies> |
|
<dependency> |
|
<groupId>org.apache.httpcomponents</groupId> |
|
<artifactId>httpclient</artifactId> |
|
<version>4.5.13</version> |
|
</dependency> |
|
<dependency> |
|
<groupId>org.jsoup</groupId> |
|
<artifactId>jsoup</artifactId> |
|
<version>1.13.1</version> |
|
</dependency> |
|
</dependencies> |
然后，你可以编写一个网络爬虫类：
java复制代码
import org.apache.http.client.methods.CloseableHttpResponse; |
|
import org.apache.http.client.methods.HttpGet; |
|
import org.apache.http.impl.client.CloseableHttpClient; |
|
import org.apache.http.impl.client.HttpClients; |
|
import org.apache.http.util.EntityUtils; |
|
import org.jsoup.Jsoup; |
|
import org.jsoup.nodes.Document; |
|
import org.jsoup.nodes.Element; |
|
import org.jsoup.select.Elements; |
|
import java.io.IOException; |
|
public class WebCrawler { |
|
public static void main(String[] args) { |
|
String url = "http://example.com"; |
|
try { |
|
String html = fetchUrl(url); |
|
Document doc = Jsoup.parse(html); |
|
Elements paragraphs = doc.select("p"); |
|
for (Element paragraph : paragraphs) { |
|
System.out.println(paragraph.text()); |
|
} |
|
} catch (IOException e) { |
|
e.printStackTrace(); |
|
} |
|
} |
|
public static String fetchUrl(String url) throws IOException { |
|
try (CloseableHttpClient httpClient = HttpClients.createDefault()) { |
|
HttpGet httpGet = new HttpGet(url); |
|
try (CloseableHttpResponse response = httpClient.execute(httpGet)) { |
|
return EntityUtils.toString(response.getEntity(), "UTF-8"); |
|
} |
|
} |
|
} |
|
} |
在这个示例中，fetchUrl方法使用HttpClient发送GET请求并获取网页的HTML内容。然后，使用Jsoup的parse方法将HTML内容解析为一个Document对象，你可以使用select方法选择你感兴趣的元素（例如所有的<p>标签）。最后，遍历这些元素并打印出它们的文本内容。
请注意，这只是一个简单的示例，实际的网络爬虫可能需要处理更复杂的HTML结构、处理相对链接、处理JavaScript动态内容等。同时，你需要遵守网站的robots.txt文件规则，并且避免过于频繁地请求同一网站，以免对其服务器造成不必要的负担或被视为恶意行为。
在使用网络爬虫时，请确保你的行为是合法和道德的，并尊重目标网站的使用条款和隐私政策。