1-爬虫基础知识（6节课学会爬虫）
1.什么是爬虫
爬虫：通俗的说爬虫就是通过一定的规则策略，自动抓取、下载互联网上网页，在按照某些规则算法对这些网页进行数据抽取、 索引。 像百度、谷歌、今日头条、包括各类新闻站都是通过爬虫来抓取数据。
2.爬取的数据去哪了
呈现：展示在网页上，或者是展示在app上
分析：从数据中寻找一些规律
搜索：微博等是有用户进行内容发布，数据发布的
预测：数据可以进行后续的预测
3.需要的软件和环境
Python3：
（1）基础语法，要有（字符串、列表、字典、判断和循环）
（2）函数（函数的创建和调用）
（3）面向对象（如何创建一个类，如何使用一个类即可）
Pycharm：Python编辑器，Python的官网可以下载
Chrome浏览器：分析网络请求用的，在network有url地址
4.浏览器的请求
（1）Url
在Chrome中右击检查，点到network
Url-请求的协议+网站的域名+资源路径+参数
后续一旦看到url中出现百分号，进行url解码（在百度搜索在线解码），可以看到文字内容
在Chrome中会出现很多的url地址，有很多额外的url地址的请求，如css和图片等地址
Elements中的内容就是网页的所有内容
（2）浏览器请求url地址
当前url对应的响应+js+css+图片 —》elements中的内容
爬虫请求url对应的响应
Elements的内容和爬虫获取到的url地址的响应不同，需要爬虫以当前url地址对应的响应为准提取数据。而不能以elements为准，elements中的内容不准
在network中的response中可以看到准确的内容-当前的url响应
（3）url地址对应的响应
从network中找到当前的url地址，点击response
在网页右键显示源码，也可以当前url响应
爬虫得到的url响应是不会主动加载js+css等图片的，要以当前url响应为准
有些贴吧会刷新页面，重新显示网页源码，会导致下次内容和之前内容不同，但框架相同，只是填入的数据不同
很多请求是，如数据变化
爬虫模拟请求，可以给人投票
5.认识HTTP/HTTPS
http：超文本传输协议，以明文的形式传输，效率更高，但是不安全
https：HTTP+SSL（安全套接字层）， 传输之前先加密，之后解密获取内容，效率较低，但是安全
5.1 http协议之请求
（1）请求行
协议 url地址，请求协议名及版本号
（2）请求头
host：域名
connection：支持转换成长链接
cache-control：缓存控制
user-agent：（重要）用户代理（身份标识），对方服务器能通过user-agent判断
我们可以在Chrome浏览器模拟手机版发送请求，对应需要将user-agent改成手机版浏览器
Upgrade-insecure-requests：将不安全的http请求转换成https请求
Accept-encoding：接收什么类型的数据
Accept-language：接收什么语言的数据
Cookie：（重要），用来存储用户信息，最终每次请求会被携带上发送给对方服务器
要获取登录后才能访问的页面，对方的服务器会通过cookie判断我们是一个爬虫，为什么对方服务器知道你登录了，下次打开访问网站，要请求
（3）请求体
携带数据
Get请求没有请求体（参数放在url中）
Post请求有请求体（数据放在请求体中，常用于登录注册，传输大文本（携带的数据量很大））
5.2 HTTP协议之响应
（1）响应头
Set-cookie：对方服务器通过该字段可以设置cookie到本地
（2）响应体
Url地址对应的响应
Cookie中重点关注name和value字段，
后面写爬虫的时候，要用到的基本讲完
在network中重新请求地址就有请求了，这就是抓包（看浏览器发了多少请求）
当我们只用user-agent一个字段无法获取数据时，要考虑是否将其他的字段都带上，一般user-agent和cookie就够了，或者refer等