python 批量爬取四级成绩单

使用本文爬取成绩大致有几个步骤：1、提取表格（或其他格式文件——含有姓名，身份证等信息）中的数据，为进行准考证爬取做准备。2、下载准考证文件并提取出准考证和姓名信息。3、根据得到信息进行数据分析和存储。

所有需要的工具库：

import urllib

import requests

import xlrd

import json

import re

import time

import os

import operator

from aip import AipOcr

from selenium import webdriver

from PIL import Image

　　

　　

准考证下载网址：http://cet-bm.neea.edu.cn/Home/QuickPrintTestTicket

使用查分数网址：http://cet.neea.edu.cn/cet/

具体实现：

一、提取姓名身份证信息并获取下载url关键信息

# 创建session访问对象

session = requests.session()

session.headers = {'打开对应网站http://cet-bm.neea.edu.cn/Home/QuickPrintTestTicket，复制cookies，必需！！！'}

# 得到身份证和姓名信息

# 返回一个包含名字和id的列表

def get_name_id():

    xls_data = xlrd.open_workbook(r'你的表格.xls')

    tables = xls_data.sheets()[0]

    for i in range('范围'):

        rows = tables.row_values(i)

        id = rows[7]

        # 对中文进行了url编码处理

        name = urllib.parse.quote(rows[5])

        yield [name, id]

list_info = get_name_id()

# 经过观察发现下载链接中只有一个sid参数有变化，所以我们下面筛选出sid参数并保存

# 需要手动到网站上点一个验证码， 时间大概在一分钟

# 到时后可能会有变动，请根据具体情况修改

yzm = '验证码'

# 存储最终数据

data = []

for i in list_info:

    # 参数provinceCode是省份编码，请根据具体情况及时修改

    # 另参数这里我没有用字典形式传入，所以中文转化成了url形式的

    res = session.post('http://cet-bm.neea.edu.cn/Home/ToQuickPrintTestTicket',

                       data='Name={}&verificationCode={}&provinceCode=34&IDNumber={}&IDTypeCode=1'.format(i[0], yzm, i[1]))

    # 处理数据 以便存储

    txt = res.content.decode('utf8')

    txt = txt.replace('\\', '')

    sid_one = re.findall("SID\":\"(.*?)\",", txt)[0]

    name_ = urllib.parse.unquote(i[0])

    data.append({'name': name_, 'sid': sid_one})

with open("sid.json", 'w') as f:

    f.write(json.dumps(data))

　　至此，我们得到了下载地址

二、下载文件并读取

with open('sid.json', 'r') as f:

    sid = json.loads(f.read())

# 下载地址列表

urls = []

for i in sid:

    url = 'http://cet-bm.neea.edu.cn/Home/DownTestTicket?SID={}'.format(i['sid'])

    urls.append([url, i['name']])

for i in urls:

    response = requests.get(i[0])

    # 这里注意保存格式一定要写对！！！

    # 不然是很头疼的一件事

    with open(r'pdf\{}.zip'.format(i[1]), 'wb') as f:

        f.write(response.content)

    print('success')

　　这一步我们下载了准考证文件，注意最好创建一个新文件夹保存下载的文件，另外，前一篇写到的批量解压文件又用到了，自己修改一下即可

　　下面一段代码我们分析准考证号信息并另存为json文件

# 打开pdf文件并读取，网上很容易找到，这里也只做采用

def open_one_pdf(url):

    # 定义变量接收我们所需的数据

    admission_ticket_number = []

    name = []

    #  文件对象

    pd_file = open(url, 'rb')

    #  pdf文件解析对象

    parser = PDFParser(pd_file)

    # print(parser)

    #  pdf文档对象

    document = PDFDocument()

    parser.set_document(document)

    document.set_parser(parser)

    #  初始化文档密码

    document.initialize()

    if document.is_extractable:

        print(True)

    else:

        raise PDFTextExtractionNotAllowed

    #  存储文档资源

    src = PDFResourceManager()

    #  设备对象

    device = PDFPageAggregator(src, laparams=LAParams())

    #  解释器对象

    inter = PDFPageInterpreter(src, device)

    pages = document.get_pages()

    # 总文本

    str_total = ''

    for page in pages:

        inter.process_page(page)

        layout = device.get_result()

        for x in layout:

            if isinstance(x, LTTextBoxHorizontal):

                str_total += str(x.get_text())

    # 提取所需数据

    admission_ticket_number.append(re.findall('准考证号：(.*?)\n', str_total, re.S)[0])

    name.append(re.findall('姓名：(.*?)\n', str_total, re.S)[0])

    return {'admission_ticket_number': admission_ticket_number, 'name': name}

# 存储所有爬取对象的信息

data_list = []

for file in os.listdir('你的文件目录'):

    if file.endswith('.pdf'):

        # 斜杠别删了，这里没有使用os.path

        data_list.append(open_one_pdf('你的文件目录\' + file))

    else:

        pass

with open('admission_num.json', 'w') as f:

    f.write(json.dumps(data_list))

　　到这里，我们得到了准考证信息

三、爬取成绩

# 百度api识别验证码

def deal_yzm():

    """ 你的 APPID AK SK """

    APP_ID = ''

    API_KEY = ''

    SECRET_KEY = ''

    client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

    def get_file_content(filePath):

        with open(filePath, 'rb') as fp:

            return fp.read()

    url = r'yzm.png'

    image = get_file_content(url)

    """ 调用文字识别, 图片参数为本地图片 """

    x = client.basicAccurate(image)

    # 一天500次，一般情况足够使用

    # 设置时间间隔，减少出错率

    time.sleep(1)

    # 筛选 这里的条件是识别出的结果只有一个且长度为4，请自行修改

    if x['words_result_num'] == 1 and len(x['words_result'][0]['words'].replace(' ', '')) == 4:

        return x['words_result'][0]['words'].replace(' ', '')

    else:

        return 'none'

# 保存验证码

# webdriver提取元素的路径可能会有变动，使用前请检查

def save_yzm(img):

    src_url = img.get_attribute('src')

    response = requests.get(src_url)

    with open('yzm.png', 'wb') as f:

        f.write(response.content)

    # 几次试验得到的结果，可能转为灰度更易识别

    I = Image.open('yzm.png')

    L = I.convert('1')

    L.save('yzm.png')

# 保存失败和成功信息的列表

fail = []

while True:

    # 加载准考证和姓名信息

    # 如果有失败记录文件则使用失败记录中的数据

    if os.path.exists('fail.json'):

        with open('fail.json', 'r') as f:

            data = json.loads(f.read())

    else:

        with open('admission_num.json', 'r') as f:

            data = json.loads(f.read())

    # 有分数记录则继续添加

    if os.path.exists('score.json'):

        with open('score.json', 'r') as f:

            score = json.loads(f.read())

    else:

        score = []

    # 遍历列表中的准考证和姓名信息

    for i in data:

        # 创建Chrome对象

        driver = webdriver.Chrome()

        # driver等待时间

        driver.implicitly_wait(3)

        number = i["admission_ticket_number"][0]

        name = i['name'][0]

        driver.get('http://cet.neea.edu.cn/cet/')

        # 获取元素

        btn_id = driver.find_element_by_xpath('//*[@id="zkzh"]')

        btn_name = driver.find_element_by_xpath('//*[@id="name"]')

        btn_yzm = driver.find_element_by_xpath('//*[@id="verify"]')

        btn_submit = driver.find_element_by_xpath('//*[@id="submitButton"]')

        btn_id.send_keys(number)

        btn_name.send_keys(name)

        btn_yzm.click()

        # 点击后验证码出现　　

        # 等待加载

        time.sleep(1)

        img = driver.find_element_by_xpath('//*[@id="img_verifys"]')

        # 保存图片 得到验证码

        save_yzm(img)

        # 识别出的字符值

        value = deal_yzm()

        # 处理识别失败的情况，有一类加入了干扰线，不好识别

        # 这里选择刷新重复上传识别

        while value == 'none':

            img_change = driver.find_element_by_xpath('//*[@id="verifysStrDiv"]/a')

            img_change.click()

            time.sleep(1)

            save_yzm(img)

            value = deal_yzm()

        # 发送验证码并点击提交

        btn_yzm.send_keys(value)

        btn_submit.click()

        # 等待

        time.sleep(1)

        # 因为登陆失败会有alert弹窗，driver会有错误提示，会结束程序，所以使用错误处理

        try:

            source = driver.page_source

        except:

            source = ''

        if '找出成绩单中的标志性信息，如学校等' not in source:

            print('验证码获取不正确，请重新执行一次\n 失败id{}已保存至fail.json'.format(i))

            fail.append(i)

            driver.close()

            continue

        # 筛选成绩

        score_one = re.findall('<span id="s">(.*?)</span>', source, re.S)

        print({'name': i['name'][0], 'score': score_one})

        score.append({'name': i['name'][0], 'score': score})

        driver.close()

    with open('fail.json', 'w') as f:

        f.write(json.dumps(fail))

    with open('score.json', 'w') as f:

        f.write(json.dumps(score))

    if not fail:

        break

　　至此已经做完了数据的爬取，下面进行数据分析：

with open('score.json', 'r')as f:

    data = json.loads(f.read())

sorted_x = sorted(data, key=operator.itemgetter('score'))

flag = 1

for i in sorted_x:

    if i['score'][0] > '425' and flag == 1:

        flag += 1

        print("".center(60, '='))

    print(i['name'] + '\t\t' + i['score'][0])

os.system('pause')

　　打印排序后的成绩，在第一个大于425的数后面加一个横线，暂停

代码和文章结构可能有些不调理，存在许多不足，使用时请自行修改