一、任务描述
本实验任务主要对urllib库进行一些基本操作，通过完成本实验任务，要求学生熟练掌握urllib库的使用，并对urllib库的基本操作进行整理并填写工作任务报告。
二、任务目标
1、掌握urllib库的导入和使用
三、任务环境
Ubuntu16.04、Python2.7
四、任务分析
urllib 是一个收集多个模块以处理URL的软件包：
urllib.request 用于打开和阅读网址
urllib.error 包含由…提出的例外 urllib.request
urllib.parse 用于解析URL
urllib.robotparser用于解析robots.txt文件
五、任务实施
步骤1、环境准备
右击Ubuntu操作系统桌面，从弹出菜单中选择【Open in Terminal】命令 打开终端。
通过【cd /home】切换到home目录下。【ls】查看该目录下的所有内容。
图1 切换目录
【mkdir spiderBasic】在home目录下创建spiderBasic文件夹。
图2 创建文件夹
步骤2、网页爬取
【cd spiderBasic】切换至spiderBasic目录下，【vim spider1.py】创建并编辑名为spider的Python文件。
图3 创建Python文件
扒网页，其实就是根据URL来获取它的网页信息，虽然在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的。
回车后进入编辑框内，按键盘【i】进入编辑状态，编译如下程序。
图4 编辑Python文件
编辑完毕后，按【esc】退出编辑状态，【:wq】保存并退出编辑框，【python spider1.py】执行spider1的Python文件。图片展示的是爬取的一部分。
图5 运行Python文件
分析该代码。通过【cat spider1.py】查看编译的内容。
【import】是导入urllib2的模块
【urllib2.urlopen()】是调用urllib2库里面的urlopen方法，传入一个URL，网址以百度为例，协议是HTTP协议。
urlopen一般接受三个参数:
第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要传送的，在这个实验里传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。
response对象有一个read方法，可以返回获取到的网页内容。
图6 urlopen函数
urlopen参数可以传入一个Request请求，其实就是一个Request类的实例，构造时需要传入URL，Data等内容。
再次通过【vim spider1.py】打开编辑文件，文件内容修改如下。
图7 Request请求
保存并退出编辑状态后，运行后发现结果是完全一样的，只不过中间多了一个request对象，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答。
步骤3、数据传送
上面的程序演示了最基本的网页抓取，不过，现在大多数网站都是动态网页，需要动态地传递参数给它，它做出对应的响应。所以，在访问时，需要传递数据给它。最常见的情况就是登录注册的时候。把数据用户名和密码传送到一个URL，然后得到服务器处理之后的响应
POST方式：
【vim spider2.py】创建并编辑spider2.py的Python文件。
图8 创建Python文件
回车后进入编辑框内，按键盘【i】进入编辑状态，输入如下程序。
引入了urllib库。定义一个字典，名字为values，参数设置了username和password（账号密码可以写自己真实的CSDN的账号密码，该实验密码为了隐私以x代替），下面利用urllib的urlencode方法将字典编码，命名为data，构建request时传入两个参数，url和data，运行程序，返回的便是POST后呈现的页面内容。
图9 编辑Python文件
GET方式：
【vim spider3.py】创建并编辑spider3.py的Python文件。
图10 创建Python文件
回车后进入编辑框内，按键盘【i】进入编辑状态，输入如下程序。
GET方式可以直接把参数写到网址上面，直接构建一个带参数的URL出来即可。
图11 编辑Python文件
步骤4、Headers
有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，需要设置一些Headers 的属性。
首先，打开浏览器，右键选择【Inspect Element(Q)】,打开网络监听，示意如下，比如百度，刷新页面之后，会出现如下信息，
拆分这些请求，只看第一个请求，可以看到，有个Request URL，还有headers，下面便是response，图片显示得不全，可以在本机亲身实验一下。那么这个头中包含了许多信息，有文件编码啦，压缩方式啦，请求的agent啦等等。
图12 User-Agent
其中，agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应，所以可以在headers中设置agent,该实验只是说明了怎样设置的headers，看一下设置格式就好
【vim spider2.py】再次编辑spider2.py文件。修改如下信息。
这样，设置了一个headers，在构建request时传入，在请求时，就加入了headers传送，服务器若识别了是浏览器发来的请求，就会得到响应。
图13 headers
步骤5、Timeout设置
第三个参数就是timeout的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。
如果第二个参数data为空那么要特别指定是timeout是多少，写明形参，如果data已经传入，则不必声明。
【vim spider】再次编辑spider2.py文件。修改如下信息。
图14 timeout