爬虫 ---- BeautifulSoup的基础使用

#BeautifulSoup的基础使用
from bs4 import BeautifulSoup    #导入bs4库

html = "<p class='stylecss'><!--index page--></p><div id='divid'><ul id='ulid'><li>Menu Title</li><li>Body Content</li></ul></div><p>Ending</p>"

soup = BeautifulSoup(html ,"lxml")    #创建对象

soup.p['class'] = 'newcss'  #修改p标签的class

#获取p标签的class

print(soup.p.attrs)

print(soup.p.get('class'))

print(soup.p['class'])

r = soup.find_all('p')  #soup.find('p')显示第一个p标签及内容, .find_all显示所有的p标签及内容

r = soup.p   # 同上一行find相同

r = soup.find(class_='stylecss')  #获取class为stylecss的标签及内容

r = soup.find(attrs = {'class':'stylecss'})

# 获取标签的内容文本

r = soup.p.string

# cdata = CData(r)

# print(cdata)

r = soup.div.ul.li.string

# if type(soup.p.string)==Comment:

#       r = soup.p.string

#       print(r)

r = soup.ul.contents[1]  # .contents[1]获取ul列表的第二个标签及内容

# .descendants循环获取当前页面的所有标签和标签内的内容

for child in soup.descendants:

    print(child)

# .strings循环获取页面中显示的所有文本内容，不包括注释内容

for string in soup.strings:

    print(string)

p = soup.li.parent.name  # .parent获取页面中li的父级标签名

# .parents递归得到当前元素的所有父级标签节点名

li = soup.li.string

for parent in li.parents:

    print(parent.name)

r = soup.ul.find_parent()  #获取当前节点标签的父节点及内容

r = soup.li.find_parents()  #获取当前节点标签的所有父节点及内容

r = soup.ul.find_all_previous()

r = soup.select('p')  #获取所有的p标签及内容

r = soup.select('p')[1]  #获取页面中的第二个p标签及内容

r = soup.select('#divid')

r = soup.select('.stylecss')

r = soup.select('div > ul')

r = soup.select('ul > li')[1].get_text()

print(r)

Python解析器

1、Python标准库 ，使用方法：BeautifulSoup(markup, “html.parser”) ，优势：Python的内置标准库、执行速度适中、文档容错能力强

2、lxml HTML 解析器 ，使用方法：BeautifulSoup(markup, “lxml”)     ，优势：速度快、文档容错能力强，但需要安装C语言库。

3、lxml XML 解析器 ，使用方法：BeautifulSoup(markup, [“lxml”, “xml”]) 或 BeautifulSoup(markup, “xml”) ，优势：速度快、唯一支持XML的解析器，也需要安装C语言库。

4、html5lib ，使用方法：BeautifulSoup(markup, “html5lib”) ，优势：最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档，但其速度慢，不依赖外部扩展。