from selenium import webdriver

 from selenium.webdriver.support.ui import WebDriverWait

 from selenium.webdriver.support import expected_conditions

 from selenium.webdriver.common.by import By

 from selenium.webdriver.support.expected_conditions import StaleElementReferenceException

 import time

 import urllib.request as ure

 from delayed import WaitFor

 import lxml.html

 import os

 import docx

 #使用selenium获取所有随笔href属性的值，url只能传小类的，例如https://www.cnblogs.com/cate/python/

 def selenium_links(url):

     driver = webdriver.Chrome()

     driver.maximize_window()

     driver.get(url)

     #获取最大页数

     maxPage = driver.find_element_by_css_selector('#paging_block div.pager a:nth-last-of-type(2)').get_attribute('text')

     x=1

     url_list=[]

     #循环获取当前小类所有页面的href

     while x<=int(maxPage):

         time.sleep(1) #隐式 显式等待都尝试了，还是报错，只能等待1秒了(调试又正常运行)

         x +=1

         #等待 Next出现并返回 ,就是博客园翻到下一页的那个元素

         lastPage = WebDriverWait(driver, 30).until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, '#paging_block div.pager a:last-child')))

         #等待元素出现并返回list，这里定位的是页面上的随笔

         html = WebDriverWait(driver, 30).until(expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR, 'a.titlelnk')))

         #迭代，将href属性的值添加到url_list

         for h in html:

             url_list.append(h.get_attribute('href'))

         lastPage.click()

     driver.quit()

     #以列表形式返回所有URL

     return url_list

 #传入包含url的列表

 def link_crawler(seed_url):

     html_list = []

     #下载crawl_queue中的所有网页

     waitFor = WaitFor(2)

     x =1

     while seed_url:

         print('第'+str(x)+'个')

         x+=1

         url = seed_url.pop()

         #下载限速

         waitFor.wait(url)

         html = download(url)

         html_list.append(html)

     return html_list

 #下载网页并返回

 def download(url,user_agent='FireDrich',num=2):

     print('下载:'+url)

     #设置用户代理

     headers = {'user_agent':user_agent}

     request = ure.Request(url,headers=headers)

     try:

         #下载网页

         html = ure.urlopen(request).read()

     except ure.URLError as e:

         print('下载失败'+e.reason)

         html=None

         if num>0:

             #遇到5XX错误时，递归调用自身重试下载，最多重复2次

             if hasattr(e,'code') and 500<=e.code<600:

                 return download(url,num-1)

     return html

 #将下载的网页写入Word文档

 def createWord(html):

     x = 0

     while html:

         url = html.pop()

         tree = lxml.html.fromstring(url)  # 解析HTML为统一的格式

         title = tree.xpath('//a[@id="cb_post_title_url"]')  # 获取标题

         the_file = tree.xpath('//div[@id="cnblogs_post_body"]/p')  # 获取正文内容

         pre = tree.xpath('//pre')  # 获取随笔代码部分（使用博客园自带插入代码功能插入的）

         img = tree.xpath('//div[@id="cnblogs_post_body"]/p/img/@src')  # 获取图片

         # 修改工作目录

         os.chdir('F:\Python\worm\data\博客园文件')

         try:

             # 创建一个空白新的Word文档

             doc = docx.Document()

             # 添加标题

             doc.add_heading(title[0].text_content(), 0)

         #有的设置成注册用户才能浏览的随笔，调用download函数时下载不到正确的网页，导致获取不到标题

         #title会是空列表，这里忽略这篇随笔,利用http.cookiejar模块应该可以解决这种问题，以后再看看这个模块了

         except IndexError as e:

             continue

         for i in the_file:

             # 将每一段的内容添加到Word文档（p标签的内容）

             doc.add_paragraph(i.text_content())

         # 将代码部分添加到文档中

         for p in pre:

             doc.add_paragraph(p.text_content())

         # 将图片添加到Word文档中

         for i in img:

             try:

                 ure.urlretrieve(i, '0.jpg')

                 doc.add_picture('0.jpg')

             except UnicodeEncodeError as e:

                 print('异常'+str(e))

                 pass

         # 截取标题的前8位作为Word文件名

         filename = title[0].text_content()[:8] + '.docx'

         # 保存Word文档

         # 如果文件名已经存在，将文件名设置为title[0].text_content()[:8]+ str(x).docx，否则将文件名设置为filename

         if str(filename) in os.listdir('F:\Python\worm\data\博客园文件'):

             doc.save(title[0].text_content()[:8] + str(x) + '.docx')

             x += 1

         else:

             doc.save(filename)

 #调用selenium_links获取所有url

 html = selenium_links('https://www.cnblogs.com/cate/ruby/')

 #调用link_crawler下载所有网页

 downHtml = link_crawler(html)

 #提取已经下载的网页数据到Word文档中

 createWord(downHtml)