【python】获取网页中中文内容并分词

 # -*- coding: utf-8 -*-

 import urllib2

 import re

 import time

 import jieba

 url="http://www.baidu.com"

 html=urllib2.urlopen(url).read()

 html=unicode(html,'utf-8')

 word=re.findall(ur"[\u4e00-\u9fa5]+",html)

 s=""

 for w in word:

     s+=w

 seg_list=jieba.cut(s,cut_all=False)

 fenci="/ ".join(seg_list)

 print 'get web-->',s

 print 'div result-》',fenci

 time.sleep(10)

其中使用了 urllib2 re jieba三个模块 第一个模块用于获得网页内容，第二个模块用正则表达式提取中文字符 第三个模块用于分词

参考：

http://zhidao.baidu.com/link?url=4nU9JTj_GsObZExTum1jHRiwdDgEPnRl_oh7Msri3gfBxpH3LdUcaHCtR0wvWl0WCRCrcAlli62veGVl5pw-kK

http://www.cnblogs.com/mmix2009/p/3220427.html

【附】安装python模块将其下载后将对应的文件夹拷入python安装目录下的 Lib/site-packages/  下