python-bs4的使用

BeautifulSoup4

官方文档

　　是一个Python库，用于从HTML和XML文件中提取数据。它与您最喜欢的解析器一起使用，提供导航，搜索和修改解析树的惯用方法。它通常可以节省程序员数小时或数天的工作量。

1.安装BeautifulSoup4

pip install bs4

2.详细操作

from bs4 import BeautifulSoup

from urllib import request

#获取网页内容

base_url = 'http://langlang2017.com/route.html'

response  = request.urlopen(base_url)

html = response.read()

#数据解析（从页面当中提取数据）

#创建bs4对象

soup = BeautifulSoup(html,'lxml')

#格式化输出对象中的内容

content = soup.prettify()

#提取页面当中的指定内容

# print(soup.title)  #获取title内容

#一  只能匹配到第一个标签内容

#1.tag(name)

# print(soup.name)   #输出文档类型

# print(soup.div.name) #输出标签名

#2attrs

# print(soup.title.attrs)

# print(soup.img.attrs)

#3修改属性值

img = soup.img.attrs

# print(img)

domain = 'http://www.langlang2017.com'

img["src"] = domain+ img["src"]

# print(img)

#4删除

img= soup.img.attrs

# print(img)

del  img["alt"]

# print(img)

#二

#1获取文本

# print(soup.title)

# print(soup.title.attrs)

# print(soup.title.name)

#格式：标签名.string

# print(soup.title.string)

#三 标签名.contents 获取子节点列表

head = soup.head.contents

# print(head)

# print(head[3])

#标签名.children  --子节点

head_children = soup.head.children

# for i in head_children:

    # print(i)

#便签名.descendants  --子孙节点

# print(soup.div)

# for i in soup.div.descendants:

#     print(i)

#搜索文档 find_all()

# print(soup.meta)  #只能获取一个

# for i in soup.find_all('meta'):

#     print(i)

#标签列表

# print(soup.find_all(["h1","h2"]))

#关键词

# print(soup.find_all(id='weixin'))

#四 css选择器 soup.select()

#通过类名查找

# print(soup.select('.logo'))

#通过标签名查找

# print(soup.select('a'))

#通过id查找

# print(soup.select('#weixin'))

3.注意：运行报错

bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need 

解决：安装 lxml包 

pip install lxml