使用Python爬虫整理小说网资源-自学

第一次接触python，原本C语言的习惯使得我还不是很适应python的语法风格。希望读者能够给出建议。

相关的入门指导来自以下的网址：https://blog.csdn.net/c406495762/article/details/78123502编者的文章很用心，好评。

下面是本次自学的详细说明：

----->确认目标：我选择一个不是很出名的小说网，之所以这么做，是因为一些大网站上一般都有一些反爬虫机制，作为一只弱鸡，还是选个容易上手的小网站。

->穿越小说网->《妖界之门》:http://www.15kxs.com/cbbook_22000/->这是章节汇总

点开第一章：http://www.15kxs.com/cbbook_22000/1.html 对比两个网址再多点开几个网页就很容易发现URL中的规律。但是这里为了更好的熟悉相关代码，我决定进行如下操作：

在章节汇总的网页上提取各个章节的网址并逐一请求，清洗网页源代码得到文章，并将文章汇总到本地的txt文件中。

目标是提取<a>中的“href=”的地址

下面是Python代码

 # -*- coding:UTF-8 -*-

 from bs4 import BeautifulSoup

 import requests

 filename = 'novel.txt'

 if __name__ == "__main__":

     aim = "http://www.15kxs.com/cbbook_22000/"

     cyc = requests.get(aim)

     psd = cyc.text

     cnt = BeautifulSoup(psd,features="html.parser")

     clc = cnt.find_all('a')

     first = 0#在实验过程中发现章节网页中<a>的所有选项中提出的网址不仅仅包括着小说页面，对于其他页面进行筛选

     for haim in clc:

         link = haim.get('href')

         lenth = len(link)

         if first>2 and lenth!=0 and link[0]=='/':

             """拿到了每一个章节的链接尾地址"""

             urlaim="http://www.15kxs.com"+link

             request_get = requests.get(urlaim)

             html = request_get.text

             ctm = BeautifulSoup(html,features="html.parser")

             tex = ctm.find_all('div',id='BookText')

             result = tex[0].text.replace('\xa0','')#编码格式是一个难点，能够打印到屏幕上的字符不一定能写入文件

             with open(filename,'a',encoding='utf-8') as file_object:

                 file_object.write(result)

         first = first+1#用于计算数量

         print(str(first)+" is ok")

     print("all above is ok")

效果如下：

表示效果还可以

唯一不足的是：抽取速度有些慢，5分钟内只能整理110章节左右