selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。
第一步: 安装 selenium
命令行下 pip install selenium
第二步:配置浏览器驱动
以chrome浏览器为例,
首先更新最新版chorme。当然不更新也可以,
对应着下面的网站,找到chrome对应的驱动程序
http://chromedriver.storage.googleapis.com/index.html
一定要找到相对应的版本,要不容易报错。报错会报 get缺少一个参数 或
browser = webdriver.Chrome()这个语句错误。其实都是驱动不对的问题
2.1 办法1:将下载的chromedriver.exe复制到chrome的安装目录下,并将该安装的路径,加入PATH。
2.2 办法2:将下载的chromedriver.exe复制到你运行的程序的目录下。(当然平级目录最简单了)
第三步:测试
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
print(browser.page_source) #browser.page_source是获取网页的全部html
browser.close()