Python 爬虫实例

下面是我写的一个简单爬虫实例

1.定义函数读取html网页的源代码

2.从源代码通过正则表达式挑选出自己需要获取的内容

3.序列中的htm依次写到d盘

#!/usr/bin/python

import re

import urllib.request

#定义函数读取html网页的源代码

def getHtml(url):

    page = urllib.request.urlopen(url)

    html = page.read()

    return html

#从源代码通过正则表达式挑选出自己需要获取的内容

def getImg(html):

    reg = r'href="(.*?\.htm)"'

    imgre = re.compile(reg)

    implist = re.findall(imgre,html)

#序列中的htm依次写到d盘

    x = 0

    for imgurl in implist:

        urllib.request.urlretrieve(imgurl, 'D:\htm\%s.htm' % x)

        x += 1

html = getHtml("http://www.10086.cn/hb/index_270_719.html")

html = html.decode('utf-8')

print(getImg(html))

　运行程序结果：