urllib2抓取HTML存入Excel

通过urllib2抓取HTML网页，然后过滤出包含特定字符的行，并写入Excel文件：

# -*- coding: utf-8 -*-

import sys

#import urllib

import urllib2

from xlwt import Workbook

def getdata(keywords, line):

    date = ''

    if keywords in line: # 本行包含keywords

        start = line.find('>',)

        end = line.find('</', start)

        data = line[start+1:end]

        return data

    return False

def FetchDataByUrllib(checkUrl):

    book=Workbook(encoding='gbk')

    # add_sheet新增sheet，默认不能overwrite数据，必须显示指定可更改。

    sheet=book.add_sheet('mySheet', cell_overwrite_ok=True)

    try:

        checkFile = urllib2.urlopen(checkUrl)

    except Exception, e:

        print e

        return

    type = sys.getfilesystemencoding()

    i = 1

    for line in checkFile:

        # 根据网页编码格式来解码

        line = line.decode("UTF-8").encode(type)

        #line = line.decode("GBK").encode(type)

        # 逐行全部写入excel文件。

        #sheet.write(i,1,line)

        #i+=1

        # 查找所需的特定数据，写入Excel文件。

        targetStr = getdata('体育', line) # 包含'体育'的行

        if targetStr != False:

            sheet.write(i,1,targetStr)

            i+=1

    book.save('simple.xls')

    print 'finish!'

print '开始...'

myUrl = 'http://www.sina.com.cn'

FetchDataByUrllib(myUrl)

输出结果：