我正在使用scrapy python来创建一个特定的站点。网站对以下表格进行了分页:
http://www.example.com/s/ref=lp_1805560031_pg_4?rh=n%3A976419031%2Cn%3A%21976420031%2Cn%3A1389401031%2Cn%3A1389432031%2Cn%3A1805560031&页=4&ie=UTF8&qid=1400668237
在这种情况下,如果我想从第一页刮到第三十页,我该如何处理分页呢;
我试过这个:
class MySpider(BaseSpider):
start_urls = ['http://www.example.com/s/ref=lp_1805560031_pg_4?rh=n%3A976419031%2Cn%3A%21976420031%2Cn%3A1389401031%2Cn%3A1389432031%2Cn%3A1805560031&page=%s&ie=UTF8&qid=1400668237' % page for page in xrange(1,30)]
但它不起作用
编辑:我使用domain作为example.com只是为了提问
最佳答案
这应该对你有用
start_urls = ['http://www.example.com/s/ref=lp_1805560031_pg_4?rh=n%3A976419031%2Cn%3A%21976420031%2Cn%3A1389401031%2Cn%3A1389432031%2Cn%3A1805560031&page={0}&ie=UTF8&qid=1400668237'.format(page) for page in xrange(1,30)]
关于python - 在python scrapy中处理分页,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/23802617/