python爬虫2：按html标签提取信息和中文域名处理（BeautifulSoup用法初步）

 #!/usr/bin/env python

 # -*- coding: utf- -*-

 # python3

 import string

 import urllib

 from urllib import request

 from bs4 import BeautifulSoup

 url="https://ne0matrix.com/2020/01/08/伊朗，赢了"

 # 有中文的url，直接urlopen会出错，需要quote处理一下。
safe=参数表示不需要被处理的字符，默认为/。现在设为string.printable表示非中文的不需要转换。

 url_quote=urllib.parse.quote(url,safe=string.printable)

 # quote的逆向操作unquote：

 # url_unquote=urllib.parse.unquote(url_quote

 print (url_quote)

 page_read=request.urlopen(url_quote).read()

 page_decode=page_read.decode('utf-8')

 with open ('output.html','w')as f:

     f.write(page_decode)

 with open ('output.html','r')as f:

     alltext=f.read()

 bsobj=BeautifulSoup(alltext,'html.parser')

 # 如果不加html.parser则使用默认的lxmlparser，会有警告，但不影响使用

 print (bsobj.title)

 # 获取标题<title>...

 print (bsobj.title.get_text())

 # get_text()获取纯文字的标题

 date=bsobj.find('p',{'class':'mt-3'}).get_text()

 print (date.strip())

 # strip()去掉前后空格

 count=bsobj.find('span',{'class':'post-count'})

 print(count.get_text().strip())

 text=bsobj.find('div',{'class':'markdown-body'})

 print(text.get_text())

 # 查找正文