我有一个基本的scrapy
类,它爬网一个网站。
我只想将其转换为仅使用functions
而不是class-oop
结构。
我怎样才能做到这一点?
import scrapy
class BrickSetSpider(scrapy.Spider):
name = "my_spider"
site_search_url = 'website.com'
base = 'http://www.website.com/search'
start_urls = [base + str(site_search_url)]
'''method1 - parse page urls'''
def method1():
#code1
'''method2 - parse urls on the page from method1'''
def method2():
#code2
具体来说,我不确定如何以
scrapy.Spider
方式而不是functional
实例化oop
参数部分谢谢。
最佳答案
你不能Spider
是一个抽象类,仅实现一个称为start_requests()
的类。此方法调用必须在自己的类中实现的其他函数。您必须对其进行子类化,或者查看库中是否已有其他类。请参见模板方法设计模式。
关于python - 将类转换为模块Python3,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/41922718/