xpath， urllib

 xpath

        li_category = response.xpath("//div[@class='r-name']")    <div class="r-name"><div>

        li_category = response.xpath("//div[contains(@class, 'r-name')]")   <div class="r-name a b"><div> 包含'r-name'的所有div

　　　　 li_category = response.xpath("//a[text()='下一页']/@href").extract_first()  文本 = ’下一页‘的 a 标签的 href属性

　　　　 li_category = response.xpath("//a[text()='关键字：']/../li/text()").extract_first()  .. 父级

响应的同类数据但是格式不同，比如

　　 // category1 有a标签
　　 <div class="a">

        <a href="">aaaa</a>

    </div>

    // category2 没有a标签

    <div class="a">

        aaaa

    </div>

　　此时取文本可以这样取

response.xpath("//div[@class='a']//text()").extract().strip()

响应的同类数据但是格式不同，比如

    <div class='a'>

        <a href="">aaaa</a>

    </div>

    <div class='a'>

        <a href="">aaaa2</a>

        <a href="">aaaa1</a>

    </div>
此时取文本可以这样取

response.xpath("//div[@class='a']/a/text").extract()

完善url

import request, urllib

a = 'http://www.xxx.com?ss=1'

b = '?kw=22'

res = urllib.parse.urljoin(a, b) # parse需要与 request一起使用，框架中一般都有request

print(res) # http://www.xxx.com?kw=22