scrapy框架是个比较简单易用基于python的爬虫框架，http://scrapy-chs.readthedocs.org/zh_CN/latest/ 这个是不错的中文文档
几个比较重要的部分：
items.py：用来定义需要保存的变量，其中的变量用Field来定义，有点像python的字典
pipelines.py：用来将提取出来的Item进行处理，处理过程按自己需要进行定义
spiders：定义自己的爬虫
爬虫的类型也有好几种：
1）spider:最基本的爬虫，其他的爬虫一般是继承了该最基本的爬虫类，提供访问url，返回response的功能，会默认调用parse方法
2）CrawlSpider：继承spider的爬虫，实际使用比较多，设定rule规则进行网页的跟进与处理， 注意点：编写爬虫的规则的时候避免使用parse名，因为这会覆盖继承的spider的的方法parse造成错误。 其中比较重要的是对Rule的规则的编写，要对具体的网页的情况进行分析。
3）XMLFeedSpider 与 CSVFeedSpider
实际操作：
items.py下的：
from scrapy.item import Item, Field
class Website(Item):
headTitle = Field()
description = Field()
url = Field()spider.py下的：
# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下 add = 0
class DmozSpider(CrawlSpider): name = "huhu"
allowed_domains = ["cnblogs.com"]
start_urls = [
"http://www.cnblogs.com/huhuuu",
] rules = (
# 提取匹配 huhuuu/default.html\?page\=([\w]+) 的链接并跟进链接(没有callback意味着follow默认为True)
Rule(SgmlLinkExtractor(allow=('huhuuu/default.html\?page\=([\w]+)', ),)), # 提取匹配 'huhuuu/p/' 的链接并使用spider的parse_item方法进行分析
Rule(SgmlLinkExtractor(allow=('huhuuu/p/', )), callback='parse_item'),
) def parse_item(self, response):
global add #用于统计博文的数量 print add
add+=1 sel = Selector(response)
items = [] item = Website()
item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
item['url'] = response
print item
items.append(item)
return items
最后在相应的目录文件下运行scrapy crawl huhu
结果：
但是我的博文好歹有400篇左右，最后只搜出了100篇，这是什么情况
查了一些搜出来的网页地址，很多都是2013.10 到最近更新的博文情况，没道理啊，最后注意了老的博文的网址，原来老的博文地址的结构更新的博文地址的结构不同
现在的：http://www.cnblogs.com/huhuuu/p/3384978.html
老的：http://www.cnblogs.com/huhuuu/archive/2012/04/10/2441060.html
然后在rule里面加入老网页的规则，就可以把博客中没加密的博文都搜出来了
# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下 add = 0
class DmozSpider(CrawlSpider): name = "huhu"
allowed_domains = ["cnblogs.com"]
start_urls = [
"http://www.cnblogs.com/huhuuu",
] rules = (
# 提取匹配 huhuuu/default.html\?page\=([\w]+) 的链接并跟进链接(没有callback意味着follow默认为True)
Rule(SgmlLinkExtractor(allow=('huhuuu/default.html\?page\=([\w]+)', ),)), # 提取匹配 'huhuuu/p/' 的链接并使用spider的parse_item方法进行分析
Rule(SgmlLinkExtractor(allow=('huhuuu/p/', )), callback='parse_item'),
Rule(SgmlLinkExtractor(allow=('huhuuu/archive/', )), callback='parse_item'), #以前的一些博客是archive形式的所以
) def parse_item(self, response):
global add #用于统计博文的数量 print add
add+=1 sel = Selector(response)
items = [] item = Website()
item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
item['url'] = response
print item
items.append(item)
return items
又做了一个爬取博客园首页博客的代码，其实只要修改Rule即可：
# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下 add = 0
class DmozSpider(CrawlSpider): name = "huhu"
allowed_domains = ["cnblogs.com"]
start_urls = [
"http://www.cnblogs.com/",
] rules = ( Rule(SgmlLinkExtractor(allow=('sitehome/p/[0-9]+', ),)), Rule(SgmlLinkExtractor(allow=('[^\s]+/p/', )), callback='parse_item'), ) def parse_item(self, response):
global add #用于统计博文的数量 print add
add+=1 sel = Selector(response)
items = [] item = Website()
item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
item['url'] = response
print item
items.append(item)
return items
参考：http://scrapy-chs.readthedocs.org/zh_CN/latest/topics/spiders.html