python爬取链家二手房信息，确认过眼神我是买不起的人

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

基本环境配置

python 3.6
pycharm
requests
parsel
time

确定目标网页数据

python爬取链家二手房信息，确认过眼神我是买不起的人-LMLPHP

哦豁，这个价格..................看到都觉得脑阔疼

通过开发者工具，可以直接找到网页返回的数据~

python爬取链家二手房信息，确认过眼神我是买不起的人-LMLPHP

每一个二手房的数据，都在网页的 li 标签里面，咱们可以获取网页返回的数据，然后通过解析，就可以获取到自己想要的数据了~

获取网页数据

import requests

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'

}

response = requests.get(url=url, headers=headers)

解析网页数据

import parsel

selector = parsel.Selector(response.text)

lis = selector.css('.sellListContent li')

dit = {}

for li in lis:

    title = li.css('.title a::text').get()

    dit['标题'] = title

    positionInfo = li.css('.positionInfo a::text').getall()

    info = '-'.join(positionInfo)

    dit['开发商'] = info

    houseInfo = li.css('.houseInfo::text').get()

    dit['房子信息'] = houseInfo

    followInfo = li.css('.followInfo::text').get()

    dit['发布周期'] = followInfo

    Price = li.css('.totalPrice span::text').get()

    dit['售价/万'] = Price

    unitPrice = li.css('.unitPrice span::text').get()

    dit['单价'] = unitPrice

    csv_writer.writerow(dit)

    print(dit)

python爬取链家二手房信息，确认过眼神我是买不起的人-LMLPHP

保存数据

import csv

f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')

csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])

csv_writer.writeheader()

csv_writer.writerow(dit)

f.close()

数据

python爬取链家二手房信息，确认过眼神我是买不起的人-LMLPHP