利用python实现爬虫爬取某招聘网站，北京地区岗位名称包含某关键字的所有岗位平均月薪

#通过输入的关键字，爬取北京地区某岗位的平均月薪

# -*- coding: utf-8 -*-

import re

import requests

import time

import lxml.html

from bs4 import BeautifulSoup

#------------------------------------------------定义函数：获取指定网页北京地区所有相关职位的月薪---------------------

def getSalary(url):

    headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

    resp=requests.get(url,headers=headers)

    time.sleep(5)

    web_data = BeautifulSoup(resp.content, "lxml")

    firstlist=web_data.find_all('td')

    salarylist1=[]

    salarylist2=[]

    for i in firstlist:

        if 'zwyx' in str(i) and '面议' not in str(i):    #提取职位月薪，并存入salarylist1列表，月薪为面议时不统计

            salarylist1.append(str(i))                       #将列表转为字符串，并用正则表达式提取字符串里面的数字（即月薪），并存入salarylist2，此时列表中元素格式还是字符串

    salaryliststr='+'.join(salarylist1)

    reeq=re.compile(r'(\w[0-9]+)\w*')

    salarylist2=re.findall(reeq,salaryliststr)

    salarylist2=map(float,salarylist2)                       #将字符串格式的月薪转为float型

    return salarylist2                                      #以数字列表形式返回指定网页所有统计到的月薪

#-------------------------定义函数：统计智联招聘网站北京地区，招聘岗位名称包含keyword关键字所有岗位的平均月薪-------------

def getAverageSalary(keyword):

    url=r'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw='+keyword+'&sm=0&p=1&kt=3'  #包含关键字的网站名

    headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

    pagelist=[]

    salarylist=getSalary(url)         #提取第一页的招聘岗位月薪信息，并存入salarylist列表

    print salarylist

    while True:

        resp=requests.get(url,headers=headers)

        time.sleep(5)

        if resp.status_code!=200:

            break

        resp=resp.content

        reg=r'a href="(.*?)" class="next-page">下一页</a>'         #用于获取下一页地址的正则表达式

        reg=re.compile(reg)

        page=re.findall(reg,resp)

        if page!=[]:                                                      #如果未到检索的最后一页

            page1=re.split(r'href="',page[0])                             #提取当前页的下一页的网址，并赋给url

            if re.search('http',page1[-1]):

                pagelist.append(page1[-1])

                url=page1[-1]

                salarylist2=getSalary(url)

                #print 'salarylist',salarylist

                salarylist.extend(salarylist2)                          #将新提取的月薪信息存入salarylist列表

                #print 'salarylist2',salarylist

            else:

                break

        else:                                                              #已到检索到的最后一页，结束循环

            break

    salarylist=map(float,salarylist)

    if len(salarylist)!=0:

        averageSalary=sum(salarylist)/len(salarylist)

        return averageSalary,pagelist

    else:

        print '统计到的月薪列表为0，请检查网页是否正确！'

        return 0,[0,]

averageSalary,pagelist=getAverageSalary('CAE')     #爬取关键字为 CAE 的岗位平均月薪

print 'AverageSalary:',averageSalary