今天分享Python使用Chromedriver+Selenium爬虫的的方法,Chromedriver是一个有意思的爬虫插件,这个插件的爬虫方式主要是完全模拟浏览器点击页面,一步一步去找你要的东西,就跟个机器一样,不停的去执行命令。主要用于爬一些网站的反爬虫做的很好,自己又很想爬去里面的数据,那就可以用这个插件,

1. Selenium的安装

  Selenium安装直接采用pip安装最为简便,即打开cmd,输入pip install selenium 安装成功如下:

爬虫探索Chromedriver+Selenium初试-LMLPHP

爬虫探索Chromedriver+Selenium初试-LMLPHP

2. Chromedriver安装

  Chromedriver下载前需要先下载了google浏览器

  Chromedriver下载地址:http://chromedriver.storage.googleapis.com/index.html

  Chromedriver版本对应支持的Chrome版本如下表:

chromedriver版本

支持的Chrome版本

v2.43

v69-71

v2.42

v68-70

v2.41

v67-69

v2.40

v66-68

v2.39

v66-68

v2.38

v65-67

v2.37

v64-66

v2.36

v63-65

v2.35

v62-64

v2.34

v61-63

v2.33

v60-62

v2.32

v59-61

v2.31

v58-60

v2.30

v58-60

v2.29

v56-58

v2.28

v55-57

v2.27

v54-56

v2.26

v53-55

v2.25

v53-55

v2.24

v52-54

v2.23

v51-53

v2.22

v49-52

v2.21

v46-50

v2.20

v43-48

v2.19

v43-47

v2.18

v43-46

v2.17

v42-43

v2.13

v42-45

v2.15

v40-43

v2.14

v39-42

v2.13

v38-41

v2.12

v36-40

v2.11

v36-40

v2.10

v33-36

v2.9

v31-34

v2.8

v30-33

v2.7

v30-33

v2.6

v29-32

v2.5

v29-32

v2.4

v29-32

  注意:解压好的Chromedriver需放在Python的安装路径下。我的Python路径在D:\anaconda中,以我的为例:

爬虫探索Chromedriver+Selenium初试-LMLPHP

3. 测试

  用一段Python代码检测Chromedriver+Selenium安装是否成功。在Pycharm编辑以下Python代码,运行下面代码,会自动打开浏览器,然后访问网页。

爬虫探索Chromedriver+Selenium初试-LMLPHP

爬虫探索Chromedriver+Selenium初试-LMLPHP

  注意:建议运行代码时关闭360,金山等软件。

05-23 00:54