整个scrapy流程,我们可以用去超市取货的过程来比喻一下
两个采购员小王和小李开着采购车,来到一个大型商场采购公司月饼。到了商场之后,小李(spider)来到商场前台,找到服务台小花(引擎)并对她说,我们需要采购六楼五仁月饼店(url)。小花说好的,我给你填一个采购单(requests),给小美(调度器)。小美收到后,说请稍等,我给你排上队了。到了之后,员工小张拿着采购单去店里把月饼给搬出来(response)交给采购员小李。采购员小李对同事小张(spider_parse),说你拆开之后,把月饼拿出来,给员工礼品盒里每个人放三份。箱子上有地址,说旁边的店也卖这种五仁月饼,你根据这个地址给我继续采购吧。
让我们用scrapy爬取定点网站上的小说吧: