一、字符的编码和解码

　　和网页打交道，首先解决的就是web页面的编码方式，不幸的是不同网站的页面编码方式基本不相同，有的是gb2312，有的是utf-8，有的是gbk，下面是我查看我以后需要的网站源码后得出的web页面的编码方式：

di = { 'gb2312':['http://www.sina.com.cn','http://www.people.com.cn/','http://www.people.com.cn/'

                 ,'http://www.163.com/','http://www.qq.com/'],

      'gbk':['http://www.sohu.com'],

      'utf-8':['http://www.huanqiu.com/','http://www.xinhuanet.com/']

      }

　　这个python字典，我会一直手动更新的。为什么需要手动更新呢？因为我不会动态的检测web页面的编码方式，虽然说HTTP的Header中有content的编码方式，即Content-Type这一项，但是上面的网站基本上都没有在Content-Type中表明编码方式，翻墙看了一下谷歌，youtube和facebook，在Content-Type里面都表明了编码方式，一般都为utf-8。

　　知道了编码方式，就要解码了，因为BeautifulSoup先将html页面全部转码为unicode的，所以在将html页面传入BeautifulSoup中的时候，先解码,如果html的字符编码为gb2312：

response = urllib2.urlopen(url).read().decode('gb2312','ignore')

bs = BeautifulSoup(response)

　　如果你想将unicode字符编码为特定的编码方式：　　

response = urllib2.urlopen(url).read().decode('gb2312','ignore').encode('utf-8')

　　因为业务场景不一样，我只需要抓取部分网站的页面，所以我手动查看了上面几个网站的编码方式。当然有其它的方法了，见我在stackoverflow上的提问：http://stackoverflow.com/questions/28184863/how-to-decode-and-encode-web-page-with-python 。

二、解压

很多网站为了减少流量，将页面压缩。常见的压缩方式为gzip，随便百度一下就可以收到解压gzip文件的代码：

def unzip(data):

        import gzip

        import StringIO

        data = StringIO.StringIO(data)

        gz = gzip.GzipFile(fileobj=data)

        data = gz.read()

        gz.close()

        return data

其它的压缩方式暂不讨论。

三、一个很丑陋的demo

# -*- coding: utf-8 -*-

'''

Created on 2015年1月28日

@author: zhang

'''

from bs4 import BeautifulSoup

result = {}

key_word = u'李克强'

def unzip(data):

        import gzip

        import StringIO

        data = StringIO.StringIO(data)

        gz = gzip.GzipFile(fileobj=data)

        data = gz.read()

        gz.close()

        return data

def init_bs(url,encoding):

    import urllib2

    html_doc = ''

    respone = urllib2.urlopen(url)

    header = respone.info()

    if 'Content-Encoding' in header:

        if header['Content-Encoding'] == 'gzip':

            html_doc = unzip(respone.read()).decode(encoding,'ignore')

        else:

            pass

    else:

        html_doc = respone.read().decode(encoding,'ignore')

    return(BeautifulSoup(html_doc))

def get_target(soup):

    for link in soup.find_all('a'):

        text = link.get_text()

        if text.find(key_word) != -1:

            result[link.get('href')] = text

di = { 'gb2312':['http://www.sina.com.cn','http://www.people.com.cn/','http://www.people.com.cn/'

                 ,'http://www.163.com/','http://www.qq.com/'],

      'gbk':['http://www.sohu.com'],

      'utf-8':['http://www.huanqiu.com/','http://www.xinhuanet.com/']

      }

for k,v in di.iteritems():

    for url in v:

        soup = init_bs(url,'gb2312')

        get_target(soup)

for k,v in result.iteritems():

    print k,v

HTML

Python学习 － 使用BeautifulSoup来解析网页一：基础入门

一、字符的编码和解码

二、解压

三、一个很丑陋的demo

Python学习－使用BeautifulSoup来解析网页一：基础入门