- 便捷获取网站中动态加载的数据
- 便捷实现模拟登录
什么是selenium?
- 基于浏览器自动化的一个模块
使用:
pip3 install selenium
下载浏览器驱动程序 http://chromedriver.storage.googleapis.com/index.html (基于谷歌,对应版本)
- 实例化浏览器对象
- page_text = bro.page_source#页面源码数据
- bro.quit() #浏览器关闭
- bro.find系列....
- xxx = bro.find...
xxx.send_keys('xxxxx')
xxx.click()
- bro.execute_script('window.scrollTo(0,5000)') #滚轮滚动 document.body.scrollHeight #滚动一屏 #执行js代码
- bro.back()回退
- bro.forward()前进
selenium处理iframe
如果定位的标签处于iframe标签中则必须通过如下操作:
- bro.switch_to.frame('被定为的iframe标签id')
拖拽动作: 通过动作链
- from selenium.webdriver import ActionChains
action = ActionChains(bro)
action.click_and_hold(''brofind的标签 '')
for i in range(5):
action.move_by_offset(像素(数字,水平),像素(数字,竖直放心)).perform() #perform表示立即执行
action.release() #释放动作链
无可视化界面(无头浏览器)
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
规避selenium被检测到风险
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
browser=webdriver.Chrome(executable_path=path,options=option)