scrapy实战--登陆人人网爬取个人信息

今天把scrapy的文档研究了一下，感觉有点手痒，就写点东西留点念想吧，也做为备忘录。随意写写，看到的朋友觉得不好，不要喷我哈。

创建scrapy工程

cd C:\Spider_dev\app\scrapyprojects

scrapy startproject renren

创建定向爬虫

cd renren

scrapy genspider Person renren.com

查看目录结构

定义items

class RenrenItem(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    sex = scrapy.Field()  # 性别

    birthday = scrapy.Field()  # 生日

    addr = scrapy.Field()  # 家乡

 编写爬虫

# -*- coding: gbk -*-

import scrapy

# 导入items中的数据项定义模块

from renren.items import RenrenItem

class PersonSpider(scrapy.Spider):

    name = "Person"

    allowed_domains = ['renren.com']

    start_urls = ['http://www.renren.com/913043576/profile?v=info_timeline']

    def start_requests(self):

        return [scrapy.FormRequest('http://www.renren.com/PLogin.do',

                                   formdata={'email':'15201417639','password':'kongzhagen.com'},

                                   callback=self.login)]

    def login(self,response):

        for url in self.start_urls:

            yield self.make_requests_from_url(url)

    def parse(self, response):

        item = RenrenItem()

        basicInfo = response.xpath('//div[@id="basicInfo"]')

        sex = basicInfo.xpath('div[2]/dl[1]/dd/text()').extract()[0]

        birthday = basicInfo.xpath('div[2]/dl[2]/dd/a/text()').extract()

        birthday = ''.join(birthday)

        addr = basicInfo.xpath('div[2]/dl[3]/dd/text()').extract()[0]

        item['sex'] = sex

        item['addr'] = addr

        item['birthday'] =birthday

        return  item

 解释：

　　allowed_domains：定义允许访问的域名

　　start_urls：登陆人人网后访问的URL

　　start_requests：程序的开始函数，FormRequest定义了scrapy如何post提交数据，返回函数或迭代器，回调函数login。

　　login：登陆人人网之后的爬虫处理函数，make_requests_from_url处理start_urls中的url,其默认的回调函数为parse

　　parse：处理make_requests_from_url函数返回的结果

执行爬虫

scrapy crawl Person -o person.csv

查看结果：