爬虫（GET）——爬取多页的html

工具：python3

目标：将编写的代码封装，不同函数完成不同功能，爬取任意页数的html

新学语法：with open as

除了有更优雅的语法，with还可以很好的处理上下文环境产生的异常。

 # coding:utf-

 import urllib.request

 def loadPage(fullurl,filename):

     """作用：根据url发送请求，获取服务器响应请求"""

     ua_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"}

     print("正在下载" + filename)

     request = urllib.request.Request(fullurl, headers=ua_headers )

     response = urllib.request.urlopen(request)

     return response.read()

 def writePage(html, filename):

     """

     作用：将html内容写入到本地

     html：服务器相应文件内容

     """

     print("正在写入" + filename)
       # 新建文件，存储html信息

     with open(filename, "wb") as f:

         f.write(html)

 def tiebaSpider(url, beginpage, endpage):

     """

     作用：贴吧爬虫调度器，负责组合处理每个页面的url

     url:贴吧url的前部分

     beginPage： 起始页

     endPage： 结束页

     :return:

     """
       # 构造每页的url和文件名

     for page in range(beginpage, endpage+):

         pn = (page-)*

         fullurl = url + "&" + "pn=" + str(pn)

         filename = "第" + str(page) + "页.html"

         html = loadPage(fullurl, filename)

         writePage(html, filename)

     print("完成！")

 if __name__ == "__main__":

     kw = input("请输入要爬取的贴吧名： ")

     beginPage = int(input("请输入起始页： "))

     endPage = int(input("请输入结束页： "))

     url = "http://tieba.baidu.com/f?"

     kw = urllib.parse.urlencode({"kw": kw})

     url = url + kw

     tiebaSpider(url, beginPage, endPage)