日志输出参考:https://blog.csdn.net/weixin_41666747/article/details/82716688

首先 item 要设置循环外

第二,request 要设置下dont_filter=true  ,告诉爬取不要拒绝

最后一步,返回用yield item

scrapy 爬取时很多重复 及日志输出-LMLPHP

04-28 07:14