网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以按照我们制定的规则自动化浏览网络中的信息，这称之为网络爬虫算法。
大数据时代学习爬虫的人越来越多，一方面是可获取的数据越来越多，另一方面是Python这样的编程语言提供了越来越多工具，使得编写爬虫程序更为容易上手。
我们学习Python最好的入门方法应该就是学习爬虫了，虽然Python有很多应用的方向：后台开发、web开发、科学计算等，但爬虫对于初学者更为友好。理由如下：原理简单，学习过程平滑，更具成就感。
掌握基本的爬虫知识后，你去学习web开发、Python数据分析甚至机器学习，都会轻车熟路。学会了爬虫你就学会了Python基本语法、库的使用，以及如何查找文档。
1.Python 包实现爬虫
爬虫流程可以简化成这四步：发送请求——获得页面——解析页面——抽取并储存内容，实际上这就是模拟我们使用浏览器获取网页信息的过程。
爬虫常用的包有urllib、requests、bs4、scrapy、pyspider 等，其中requests可以连接网站以及返回网页，Xpath则可以解析网页，便于抽取数据。
2.爬虫数据存储
爬完数据自然需要选用合适的存储媒介来存储爬取到的结果，一般可以直接用文档形式存在本地，也可以存入数据库中。如果数据有缺失错误，那么我们可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。
3.scrapy搭建工程化爬虫
想成为一名爬虫工程师，那么你必须要会用scrapy。scrapy 是一个功能强大的爬虫框架，不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，最让人惊喜的是它超高的性能可以将爬虫工程化、模块化。
4.应对大规模数据存储与提取
这时候我们需要学习到一些简单的数据库知识，主要是数据如何入库、如何进行提取。MongoDB 可以方便你去存储一些非结构化数据，例如评论文本和图片链接。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
5.掌握各种技巧，应对网站反爬措施
爬虫现在已经越来越难了，非常多的网站已经添加了各种反爬措施，在这里可以分为非浏览器检测、封 IP、验证码、封账号、字体反爬等。
当你去爬网站数据时遇到这些问题其实也很头疼，好在大多网站的重心不会放在反爬虫而是网站高效开发商。这时我们需要用到一些技巧来应对网站的反爬虫措施，如访问频率控制、使用代理IP池、抓包、验证码的OCR处理。
6.分布式爬虫实现大规模并发采集
分布式爬虫其实就是利用多线程的原理，通过Scrapy + MongoDB + Redis 三种工具让多个爬虫同时工作，其中Scrapy用于基本页面爬取，MongoDB用于存储爬取的数据，Redis则用来存储要爬取的网页队列。