Python3---爬虫---抓取百度贴吧

前言

该文章主要描述如何抓取百度贴吧内容。当然是简单爬虫实现功能，没有实现输入参数过滤等辅助功能，仅供小白学习。

修改时间：20191219

天象独行

import os,urllib.request,urllib.parse

'''

    测试要求：

        1；输入吧名，首页，结束页进行爬虫。

        2；创建一个以吧名为名字的文件夹，里面是每一页的html的内容，文件名格式：吧名_page.html

'''

url = "https://tieba.baidu.com/f?"

ba_name = input("请输入需要下载的吧名： ")

home_page = int(input("请输入首页："))

end_page = int(input("请输入结束页："))

#创建一个路径变量：

path = "C:\\Users\\aaron\\Documents\\Python3-test"

os.makedirs(path)

'''

    pn = 0  第一页

    pn = 50 第二页

    pn = 100 第三页

    。。。。

    pn = (n-1)*50 第n页

'''

for page in range(home_page,end_page+1):

    #构造请求参数字典

    data = {

        "kw":ba_name,

        "ie":"urt-8",

        "pn":(page-1)*50

    }

    #构造请求hearders头

    #构造请求参数

    url_get = urllib.parse.urlencode(data)

    #构造请求url

    url_get = url + url_get

    #请求url

    request = urllib.request.urlopen(url_get)

    #创建一个文件名

    filename = ba_name + '_' + str(page) + '.html'

    #拼接文件路径

    filepath = path + '\\' + filename

    print(filepath)

    #写入内容

    with open(filepath,'wb') as fp:

        fp.write(request.read())

执行结果：