1. Requests库安装
Windows平台安装说明:
直接以管理员身份打开cmd运行界面,使用pip管理工具进行requests库的安装。
具体安装命令如下:
>pip install pip
2. Requests库安装验证
Requests库安装完成后,验证安装是否成功。直接在python IDLE GUI环境下导入requests库,并简单使用requests.get(url)测试。
测试命令如下:
>>>import requests >>>r = requests.get(“http://www.baidu.com”) >>>r >>>r.status_code >>>r.text >>>r.encode
3. HTTP协议
HTTP是一个机遇“请求”与“响应”模式的、无状态的应用层协议,起采用URL作为定位网络资源的表示,具体的URL格式见以下内容。
3.1. URL标准格式
http://host:[:port][path] host:合法的Internet主机域名或IP地址 port:端口号,缺省端口为80 path:请求资源的路径
3.2. HTTP URL实例
http://www.baidu.com http://123.234.123.234/study
3.3. HTTP URL的理解
URL是通过HTTP协议来存取资源的Internet路径,一个URL对应一个数据资源。
3.4. HTTP协议资源的操作方法
4. Requests库7中方法
5. Requests库2个重要对象
我们首先导入requests库,然后尝试获取http://www.baidu.com网页。
>>>import requests >>>r = requests.get(“http://www.baidu.com”)
上面这个使用requests库get方法抓取网页的过程,就产生了requests库的2个重要对象,具体对象说明如下。
r就是“Response响应对象”,而requests.get()就是“Request请求对象”。其中Response对象包含服务返回的所有信息,同时也包含request请求信息内容。
5.1. Response对象
Response对象包含了服务返回的所有信息内容,我们通多response这个对象可以获取任何我们想要获取的信息。
同时Response对象也包含 的request信息内容,如下图所示,通过r.request.headers我们就是可以获取request请求头的信息内容。
5.2. Response对象的属性
以下列表中,罗列出来了Response对象的几个常用属性。
5.3. 理解Response编码
r.encoding:如果header中不存在charset,则默认编码方式为ISO-8859-1。
注:r.text默认是根据r.encoding的编码方式来显示网页的内容。
r.apparent_encoding:根据网页内容分析出编码的方式,可以看作是r.encoding的备选。
6. 爬取网页通用代码框架
6.1. 理解requests库异常
r = requests.get(url) 进行网络资源获取的时候,可能会出现这样或者那样的异常请,我们需要有个稳定的处理框架来处理各种请求异常,以保证代码程序处理的稳定性。
首先,我们学习和了解以下requests库的异常处理7中方式,具体内容如下。
6.2. 通用代码框架