java网络爬虫----------简单抓取慕课网首页数据

© 版权声明：本文为博主原创文章，转载请注明出处

一、分析

　　1.目标：抓取慕课网首页推荐课程的名称和描述信息

　　2.分析：浏览器F12分析得到，推荐课程的名称都放在class="course-card-name"的h3标签里，描述信息都放在h3标签下面的p标签中。因此只需要获取到这两个标签中的内容即可

二、实例

1. 项目结构

2.pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

	<modelVersion>4.0.0</modelVersion>

	<groupId>org.swing</groupId>

	<artifactId>Spider01</artifactId>

	<version>0.0.1-SNAPSHOT</version>

	<packaging>jar</packaging>

	<properties>

		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

	</properties>

	<dependencies>

		<!-- junit -->

		<dependency>

			<groupId>junit</groupId>

			<artifactId>junit</artifactId>

			<version>4.12</version>

			<scope>test</scope>

		</dependency>

	</dependencies>

</project>

3.Spider_Imooc.java

package org.spider.demo;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.HashMap;

import java.util.Map;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

 * 网络爬虫获取慕课网相关信息

 *

 */

public class Spider_Imooc {

	/**

	 * 连接到慕课网

	 *

	 * @param url

	 * 				慕课网url

	 * @return

	 */

	private String connect(String address) {

		HttpURLConnection conn = null;

		URL url = null;

		InputStream is = null;

		InputStreamReader isr = null;

		BufferedReader br = null;

		StringBuffer sb = null;

		try {

			url = new URL(address);// 将字符串转换为url

			conn = (HttpURLConnection) url.openConnection();// 打开连接

			conn.setConnectTimeout(5000);// 设置连接主机的超时时间：5s

			conn.setReadTimeout(5000);// 设置从主机读取数据的超时时间：5s

			conn.setDoInput(true);// 设置是否向HttpURLConnection读入，默认是true

			conn.connect();// 连接

			is = conn.getInputStream();// 获取服务器返回的输入流

			// 将输入流解析为字符串并返回

			isr = new InputStreamReader(is);

			br = new BufferedReader(isr);

			sb = new StringBuffer();

			String line = null;

			while((line = br.readLine()) != null) {

				sb.append(line);

			}

		} catch (Exception e) {

			e.printStackTrace();

		} finally {

			try {

				if (br != null) {

					br.close();

				}

				if (isr != null) {

					isr.close();

				}

				if (is != null) {

					is.close();

				}

				if (conn != null) {

					conn.disconnect();

				}

			} catch (IOException e) {

				e.printStackTrace();

			}

		}

		return sb.toString();

	}

	/**

	 * 解析数据，获取课程名及描述

	 *

	 * @param data

	 * 				慕课网首先数据

	 * @return

	 */

	private Map<String, String> analyData(String data) {

		Map<String, String> map = new HashMap<String, String>();

		Pattern courseRule = Pattern.compile("<h3 class='course-card-name'>(.+?)</p>");// 创建正则表达式

		Matcher courseMatch = courseRule.matcher(data);// 匹配正则表达式

		while (courseMatch.find()) {// 循环匹配结果

			String courseInfo = courseMatch.group();

			String title = "";

			String desc = "";

			Pattern courseNameRule = Pattern.compile(">(.+?)<");

			Matcher courseNameMatch = courseNameRule.matcher(courseInfo);

			if (courseNameMatch.find()) {

				title = courseNameMatch.group();

				title = title.substring(1, title.length() - 1);

			}

			Pattern courseDescRule = Pattern.compile("title='(.+?)'");

			Matcher courseDescMatch = courseDescRule.matcher(courseInfo);

			if (courseDescMatch.find()) {

				desc = courseDescMatch.group();

				desc = desc.substring(7, desc.length() - 1);

			}

			map.put(title, desc);

		}

		return map;

	}

	public static void main(String[] args) {

		Spider_Imooc si = new Spider_Imooc();

		String code = si.connect("http://www.imooc.com");

		Map<String, String> map = si.analyData(code);

		for(String key: map.keySet()) {

			System.out.println(key + " : " + map.get(key));

		}

	}

}

4.效果预览

Android网络框架-OkHttp使用 : 本视频教程主要讲解Android SDK 6.0之后网络请求框架，赶快学起来吧

python-web.py开发入门 : web.py开发入门入门教程，讲解一个你最快能学会的web开发的框架

PHP中的HTTP协议 : PHP视频教程从PHP的角度深度解析HTTP协议知识，例如post、和get请求

Linux Bind负载均衡 : DNS转发、主从模式及传输限制，通过本课了解更多DNS知识

Linux系统扫描技术及安全防范 : Linux系统下系统扫描及安全防范，规避一些安全的隐患

大型PHP电商网站商品秒杀功能实现思路分析 : 本课程属于PHP高级教程，汇集前沿技术，实现商品秒杀，小白慎入

常用的网页加载进度条 : 通过课程，让你学习到网页中常见的进度加载的实现方式.

JAVA生成二维码 : 二维码无处不在，自己动手用Java生成二维码，三种生成方式任你选

ReactNative基础与入门 : 敲开React Native的大门,掌握未来趋势新技术

Python分布式爬虫打造搜索引擎 Scrapy精讲 : 彻底掌握Scrapy原理，Django+Elasticsearch搭建搜索引擎

轻松愉快之玩转SpringData : 利用Spring Data提高开发效率，提升程序员的幸福指数

Laravel 5.4 快速开发简书 : Laravel最新特性结合Mysql异步消息队列、ElasticSearch搜索引擎、Debugbar调试利器开发简书

Shell典型应用之应用日志分析 : 如何应用shell脚本分析系统日志，这门视频教程会给你答案

Java Spring技术栈构建完整前后台团购网站  : 完整的前后台团购网站，提升实战技能与高效编程技巧

微信小程序商城构建全栈应用 : 前后端分离+RESTFul API标准接口+微信支付，手把手带你打通全栈！

iOS基础之UIImageView知识拓展(上) : 掌握iOS图像处理之UIImage展示，了解UIImageView更多的用途

Android常用异常集及解决方案 : 介绍Android常用异常集及常用的几种解决方案

Angular2一小时快速入门 : Angular2一小时快速入门教程，帮助大家快速上手Angular2开发

Python开发简单爬虫 : 本教程带您解开python爬虫这门神奇技术的面纱

带你实现别样的Android侧滑菜单 : 学会熟练使用侧滑菜单之DrawerL，介绍常用菜单开源库SlidingMenu

BAT大咖助力 全面升级Android面试 : 2017最全面的Android面试课程，赢取称心offer的不二之选

iOS架构初探 : iOS视频教程教你轻松搞定各种架构设计模式的学习，如MVC、MVVM等

基础线性和剪影化icon的制作方法 : 刚接触UI的小伙伴们从哪里作为切入点？UI设计icon制作必备技能

PHP消息队列实现及应用 : 消息队列是个什么玩意儿，使用队列解决秒杀等实际问题概念和使用方法

自动化测试之selenium工具使用 : web自动化测试selenium从0基础开始。

去哪儿前端沙龙分享第三期 : 本课程为去哪儿网前端交互沙龙第三期，精彩分享不容错过噢

django入门与实践 : 手把手带你进入Django开发的大门，充分领略Django的魅力

Java SSM开发大众点评后端 : SSM全面梳理，前后端分离，zTree和复杂SQL打造权限系统，解惑MyBatis和RESTful

不一样的自定义实现轮播图效果 : Android开发自定义实现轮播图效果案例实现，从无到有让你会懂会用

从零开始打造自己的PHP框架 : 和我一起开发一套属于自己的PHP框架，自己开发的才是最好用的

Web安全-XSS : 从Web安全XSS的定义开始讲起，从原理到实战全方位理解XSS安全

Linux软件安装管理 : 通过本课程了解Linux中的软件如何进行安装、卸载、升级等管理

Java模板引擎之Freemarker : 学习Java模板引擎中Freemarker技术，web开发人员必要掌握的技术之一

jQuery基础(四)—动画篇 : jQuery基础教程动画篇，讲解jQuery基础开启动画修炼

PHP+AJAX实现表格实时编辑 : PHP和AJAX实现表格动态实时编辑案例，轻松实现最好的用户体验

玩儿转Swift 2.0（第四季） : Swift泛型、扩展、面向协议编程等，大家真正玩儿转swift

iOS快速构建IM功能 : 本视频教程将告诉大家在iOS开发中如何快速构建一个IM功能

浅谈搜索引擎_SEO : 如何使用SEO让大家能更好的搜索到你的网站。

前端JavaScript面试技巧 : 百度高级前端工程师亲授，结合真实面试题，提高面试成功几率