python的requests模块爬取网页内容

注意：处理需要用户名密码认证的网站，需要auth字段。

# -*- coding:utf-8 -*-

import requests

headers = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36",

}

newUrl ="https://www.freebuf.com/articles/system/187792.html"

#最简单的爬虫请求.也可以加上headers字段，防止部分网址的反爬虫机制

response = requests.get(newUrl)

#当爬取的界面需要用户名密码登录时候，构建的请求需要包含auth字段

#response = requests.get(newUrl,headers=headers,auth=('username','passsword'))

print(response.content.decode("utf-8"))#打印网页内容

#print(response.status_code)#浏览器返回的错误码，200表示成功