常见的反爬手段和解决思路
1)明确反反爬的主要思路
反反爬的主要思路就是尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现;浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,
带上了之前的cookie,代码中也可以这样去实现。很多时候,爬虫中携带的headers字段,cookie字段,url参数,post的参数很多,不清楚哪些有用,哪些没用的情况下,
只能够去尝试,因为每个网站都是不相同的;当然在盲目尝试之前,可以参考别人的思路,我们自己也应该有一套尝试的流程。 2)通过headers字段来反爬
1.通过headers中的User-Agent字段来反爬
import random
def get_ua():
first_num = random.randint(55, 62)
third_num = random.randint(0, 3200)
fourth_num = random.randint(0, 140)
os_type = [
'(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
'(Macintosh; Intel Mac OS X 10_12_6)'
]
chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)
ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
'(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
)
return ua 2.通过referer字段或者是其他字段来反爬 3.通过cookie来反爬
如果目标网站不需要登录,每次请求带上前一次返回的cookie,比如requests模块的session,
如果目标网站需要登录要准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池,
其他程序使用这些cookie 3)通过js来反爬
1.通过js实现跳转来反爬
在请求目标网站的时候,我们看到的似乎就请求了一个网站,然而实际上在成功请求目标网站之前,
中间可能有通过js实现的跳转,我们肉眼不可见,这个时候可以通过点击perserve
log按钮实现观察页面跳转情况,在这些请求中,如果请求数量很多,一般来讲,
只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地 2.通过js生成了请求参数
对应的需要分析js,观察加密的实现过程 4)通过验证码来反爬
通过打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,更值得推荐,
常见的有云打码(数字和汉字)和极验科技(滑动和12306的那种) 5)通过ip地址来反爬
同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫,对应的通过购买高质量的ip的方式
能够结局问题 6)其他的反爬方式
1.爬去猫眼电影电脑版
解决思路:切换到手机版
2.通过css来反爬
解决思路:计算css的偏移 selenium的使用
什么是selenium
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium
可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,
让浏览器自动加载页面,获取需要的数据,甚至页面截屏
Chromedriver的使用
Chromedriver 也是一个能够被selenium驱动的浏览器,有无界面和有界面之分
下载地址：https://npm.taobao.org/mirrors/chromedriver
driver的安装
注意事项：
最简单的安装方式是：解压后把bin目录下的可执行文件移动到环境变量下， 比如/usr/bin 或者是/usr/local/bin下面 注意：Chromedriver和电脑上的chrome版本有对应关系，建议使用最新的Chromedriver版本并且更新chrome浏览器到最新版
selenium的入门使用
# 查看请求信息
driver.page_source
driver.get_cookies()
driver.current_url
基本案列使用from selenium import webdriver
import time # 选用Chrome浏览器,因为装驱动了
driver = webdriver.Chrome()
# 窗口最大化
# driver.maximize_window()
# 自己设置窗口的大小 # 获取百度界面
driver.get("http://www.baidu.com") # 在input标签中输入要搜索的内容
# driver.find_element_by_id("kw").send_keys("百度贴吧")
driver.find_element_by_name("wd").send_keys("传智播客")
# 点击元素
driver.find_element_by_id("su").click()
# driver.find_element("su").click() # 获取当前网页的源码
# print(driver.page_source)
# 获取当前的url
print(driver.current_url)
#获取cookie
print(driver.get_cookies())
cookies = driver.get_cookies()
print({i["name"]:i["value"] for i in cookies}) time.sleep(4)
# 对请求的网页进行截屏
driver.save_screenshot("./baidu.png") # 关闭浏览器 # 退出浏览器
# driver.close()
driver.quit()
import json import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu') class Douyu(object):
def __init__(self):
self.start_url = "https://www.douyu.com/directory/all"
# 有界面的显示
# self.driver = webdriver.Chrome()
# 无界面的显示
self.driver = webdriver.Chrome(chrome_options=chrome_options) # 实例化dirver
self.max_page = 3 def get_content_list(self):
li_list = self.driver.find_elements_by_xpath('.//ul[@class="layout-Cover-list"]/li')
content_list = []
for li in li_list:
items = {} items["title"] = li.find_elements_by_xpath('.//h3[@class="DyListCover-intro"]')[0].get_attribute("title")
# 人气
items["Popularity"] = li.find_elements_by_xpath('.//span[@class="DyListCover-hot"]')[0].text
items["anchor"] = li.find_elements_by_xpath('.//h2[@class="DyListCover-user"]')[0].text
content_list.append(items)
print(items) # 点击下一页
click_next_page = self.driver.find_elements_by_xpath('.//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')[0] if len(self.driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')) > 0 else None
# click_next_page = self.driver.find_elements_by_xpath('.//li[@class="dy-Pagination-next"]/span')[0] if len(self.driver.find_elements_by_xpath('//li[@class="dy-Pagination-next"]/span')) > 0 else None
return content_list,click_next_page def save_content(self,content_list):
with open("html/斗鱼版.csv","a",encoding="utf-8") as file:
file.write(json.dumps(content_list,ensure_ascii=False,indent=4))
file.write("\n") def run(self):
# 构造url
# 发起请求,获取响应(用selenium发起请求)
self.driver.get(self.start_url)
time.sleep(5)
# 提取数据
content_list,click_next_page = self.get_content_list()
# 保存数据
# print(click_next_page.text)
self.save_content(content_list)
page = 0
while click_next_page is not None:
click_next_page.click()
print(click_next_page.text)
time.sleep(5) content_list, click_next_page = self.get_content_list()
# 保存数据
self.save_content(content_list) page += 1
if page >= self.max_page:
break self.driver.quit() if __name__ == '__main__': d = Douyu()
d.run()
selenium的定位操作
知识点:
掌握定位元素的方法
掌握获取元素中数据的方法 定位元素语法:
find_element_by_id (返回一个元素)
find_elements_by_xpath (返回一个包含元素的列表)
find_elements_by_link_text (根据连接文本获取元素列表)
find_elements_by_partial_link_text (根据连接包含的文本获取元素列表)
find_elements_by_tag_name (根据标签名获取元素列表)
find_elements_by_class_name (根据类名获取元素列表) 获取数据语法
find_element仅仅能够获取元素,不能顾直接获取其中的数据,find_element_by_xapth也是这样
获取文本: element.text
获取属性值: element.get_attribute("href") selenium处理cookie
get_cookies = """
_uab_collina=155324237696950140608396; sid=seo_aladingb; JSESSIONID=""; __g=seo_aladingb; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1553242378; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1553242409; __c=1553242409; __l=r=https%3A%2F%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladingb&l=%2Fwww.zhipin.com%2Fjob_detail%2F37fa8c6951ab28b41HJz3dy9FVM~.html%3Fka%3Djob_sug_7&g=%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladi; __a=69913048.1553242301.1553242301.1553242409.2.2.1.2 """
# 把cookie转化为字典,使用字典推导式
{cookie["name"]: cookie["value"] for cookie in driver.get_cookies()}
# 删除一条cookie
driver.delete_cookie("CookieName")
# 删除所有的cookie
driver.delete_all_cookies() 一般需要页面等待
为什么需要等待
如果网站采用了动态html技术,那么页面上的部分元素出现时间便不能确定,这个时候
就可以设置一个等待时间,强制要求在时间内出现,否则报错页面等待的方法,time.sleep(10) 使用selenium切换frame
frame是html中常用的一种技术,即一个页面中嵌套了另一个网页,
selenium默认是访问不了frame中的内容的,对应的解决思路是 driver.switch_to.frame() 动手：模拟登陆qq邮箱
在使用selenium登录qq邮箱的过程中,我们会发现,无法在邮箱的登录input标签中输入内容,
通过观察源码可以发现,form表单在一个frame中,所以需要切换到frame中 selenium的优缺点
selenium能够执行页面上的js,对于js渲染的数据和模拟登陆处理起来非常容易
selenium由于在获取页面的过程中会发送很多请求,所以效率非常低,所以在很多时候需要酌情使用 打码平台的使用
常见的打码平台
云打码：http://www.yundama.com/
能够解决通用的验证码识别
极验验证码智能识别辅助：http://jiyandoc.c2567.com/
能够解决复杂验证码的识别 常见的验证码的种类
1)url地址不变,验证码不变
这是验证码里面非常简单的一种类型,对应的只需要获取验证码的地址,然后请求,通过打码平台识别即可
2)url地址不变,验证码变化
这种验证码的类型是更加常见的一种类型,对于这种验证码,
码和最后提交的验证码是同一个验证码，那这个手段是什么手段呢？
很明显，就是通过cookie来实现的，所以对应的，在请求页面，请求验证码，提交验证码的到时候
需要保证cookie的一致性，对此可以使用requests.session来解决
Python爬虫代码正在处理中