Python高级应用程序设计

一、主题式网络爬虫设计方案（15分）

1.主题式网络爬虫名称

NBA球星蒂姆·邓肯18年职业生涯48分钟场均数据爬取

2.主题式网络爬虫爬取的内容与数据特征分析

蒂姆·邓肯18年生涯巅峰季后赛赛季(得分、篮板、助攻、抢断、盖帽)、总得分以及最强数据
3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

1.numpy函数、requests库、re正则获取网页数据

2.BeautifulSoup库解析页面内容

3.padads库将爬取的数据保存为xls形式

4.pandas数据清洗和处理

5.matplotilb库可视化数据绘图

二、主题页面的结构特征分析（15分）
1.主题页面的结构特征

2.Htmls页面解析

import requests
from bs4 import BeautifulSoup
url = 'http://www.stat-nba.com/player/785.html'
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return '产生异常'
html = getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())

　　

3.节点（标签）查找方法与遍历方法
（必要时画出节点树结构）
 
三、网络爬虫程序设计（60分）
爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集

import requests
from bs4 import BeautifulSoup
import time
from xlwt import Workbook


def getNBAData(url):
    res = requests.get(url)
    res.encoding = 'utf-8'
    html = res.text
    soup = BeautifulSoup(html,'lxml')
    data = soup.html.body.find('tbody').text
    list_data = data.split('\n')
    with open('nba_data.txt', 'a',encoding='utf-8') as fp:
        fp.write(data)
    for item in list_data[:]:
        if len(item) == 0:
            list_data.remove(item)
    return list_data


def saveDataToExcel(datasets, sheetname, filename):
    book = Workbook()
    sheet = book.add_sheet(sheetname)
    sheet.write(0, 0, '序号')
    sheet.write(0, 1, '球员')
    sheet.write(0, 2, '赛季')
    sheet.write(0, 3, '球队')
    sheet.write(0, 4, '出场')
    sheet.write(0, 5, '时间')
    sheet.write(0, 6, '投篮')
    sheet.write(0, 7, '命中')
    sheet.write(0, 8, '出手')
    sheet.write(0, 9, '三分')
    sheet.write(0, 10, '命中')
    sheet.write(0, 11, '出手')
    sheet.write(0, 12, '罚球')
    sheet.write(0, 13, '命中')
    sheet.write(0, 14, '出手')
    sheet.write(0, 15, '篮板')
    sheet.write(0, 16, '前场')
    sheet.write(0, 17, '后场')
    sheet.write(0, 18, '助攻')
    sheet.write(0, 19, '抢断')
    sheet.write(0, 20, '盖帽')
    sheet.write(0, 21, '失误')
    sheet.write(0, 22, '犯规')
    sheet.write(0, 23, '得分')
    sheet.write(0, 24, '胜')
    sheet.write(0, 25, '负')
    num = 26
    row_cnt = 0
    data_cnt = 0
    data_len = len(datasets)

    while (data_cnt < data_len):
        row_cnt += 1
        for col in range(num):
            sheet.write(row_cnt, col, datasets[data_cnt])
            data_cnt += 1
    book.save(filename)





if __name__ == "__main__":
    url = 'http://www.stat-nba.com/query.php?QueryType=ss&SsType=playoff&Player_id=785&AT=48&Mp0=0'
    print('开始爬取URL：%s' % url)
    datasets = getNBAData(url)
    print('爬取数据完成')
    sheetname = 'nba normal data'
    str_time = time.strftime('%Y-%m-%d', time.localtime(time.time()))
    filename = 'nba_normal_data' + str_time + '.xls'
    saveDataToExcel(datasets, sheetname, filename)
    print('数据存储完成')

　　

2.对数据进行清洗和处理

删除无效列（‘命中’和‘出手’）

3.文本分析（可选）：jieba分词、wordcloud可视化
4.数据分析与可视化
（例如：数据柱形图、直方图、散点图、盒图、分布图、数据回归分析等）

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np





def main():
    # 数据清洗
    data.drop('出手',axis=1,inplace=True) #删除无效列出手
    data.head()#显示前五行
    data.drop('命中',axis=1,inplace=True) #删除无效列命中
    data.head()#显示前五行
    data.describe()

    total_points=(data.得分*data.出场).sum()#总得分
    avg_points=total_points/data.出场.sum()#平均分
    print("邓肯总得分：%s" %round(total_points,1))
    print("邓肯平均分：%s" %round(avg_points,1))

    max_point=data.得分.max()
    print(data[data.得分==max_point])#显示最高得分赛季
    print(data.loc[data.得分>=30])#显示得分超过30分的赛季

    # 最佳数据
    max_data={'point':data.得分.max(),'rebounds':data.篮板.max(),'assistants':data.助攻.max(),'steals':data.抢断.max(),'blocks':data.盖帽.max()}
    best_data=pd.Series(max_data)
    print(best_data)

# 生成折线图
def Brokenline():
    plt.figure()#绘制画板
    x=np.array([x for x in range(1997,2015)])#x轴为年份
    y1=data.得分#y1轴为得分
    y2=data.篮板#y2轴为篮板
    y3=data.助攻#y3轴为助攻
    y4=data.抢断#y4轴为抢断
    y5=data.盖帽#y5轴为盖帽
    plt.xlabel('season')
    plt.ylabel('points')
    plt.plot(x,y1,'red')
    plt.plot(x,y2,'blue')
    plt.plot(x,y3,'green')
    plt.plot(x,y4,'black')
    plt.plot(x,y5,'yellow')
    plt.legend()
    plt.show()

# 生成柱状图
def Histogram()
    x=np.array([x for x in range(1997,2015)])
    y=data.助攻
    plt.xlabel('season')
    plt.ylabel('points')
    plt.bar(x,y,width=0.5,color='m')
    plt.xticks(x,rotation=30)
    ax=plt.gca()
    x_lables=ax.xaxis
    plt.show()



if __name__ == '__main__':
    # 导入爬取的数据(xls格式)
    data = pd.read_excel('nba_normal_data2019-12-17.xls')
    main()
    #Brokenline()
    Histogram()

　　

 5.数据持久化

 6.附完整程序代码

四、结论（10分）
1.经过对主题数据的分析与可视化，可以得到哪些结论？

通过以上的各种可视化数据可以很明显看出蒂姆·邓肯在进入NBA后的数据进步很快，超级巨星的潜力，平均分26分，场均两双数据
2.对本次程序设计任务完成的情况做一个简单的小结。

 通过这次作业我们能够明白并不是纸上谈兵的，有很多的不懂要靠自己去网上找还有和自己同学交流才能明白，所谓读万卷书行万里路，学习的海洋永无止境，我们只有不断学习才能进步。