Python爬取LOL英雄皮肤

Python 爬虫 

一 实现分析

1. 在官网上找到英雄皮肤的真实链接，查看多个后发现前缀相同，后面对应为英雄的ID和皮肤的ID，皮肤的ID从00开始顺序递增，而英雄ID跟网页中的顺序无关，需要找到英雄ID。
2. 并没有在皮肤页面和英雄页面的元素中找到有关英雄ID的内容，所以想到有可能是通过js文件加载进来的。通过Chrome工具找到跟英雄ID有关的js文件网址。
3. 通过js文件网址获得英雄ID。与图片真实网址进行拼接，得到所有英雄的所有皮肤的图片地址，保存到列表中。
4. 设置图片保存的路径和文件名。
5. 下载。

二 知识点与难点

1. 通过re库来正则表达式的处理。
2. 通过json将字符串转成字典类型。
3. 图片地址和文件名称的拼接。
4. 判断图片是否真实存在和下载。

三 代码

1. '''
   

   ---

2. 1. 找到图片路径，获取所有图片真实URL
   

   ---

3. 2. 设置文件名
   

   ---

4. 3. 下载
   

   ---

5. '''
   

   ---

6. ---

7. import requests 
   

   ---

8. import re 
   

   ---

9. import json 
   

   ---

10. ---

11. def getLOLImages():
    

    ---

12. ---

13. # 包含英雄名字和ID的js文件路径
    

    ---

14. js_url = "http://lol.qq.com/biz/hero/champion.js"
    

    ---

15. ---

16. # 获取js文件内容
    

    ---

17. js_content = requests.get(js_url).text 
    

    ---

18. ---

19. # 截取需要的内容 .*? 代表所有内容
    

    ---

20. req = '"keys":(.*?),"data"'
    

    ---

21. # 取到的是列表，真正想要的是列表中的第一个元素
    

    ---

22. js_want = re.findall(req, js_content)[0] 
    

    ---

23. ---

24. # 转成字典形式
    

    ---

25. js_dict = json.loads(js_want) 
    

    ---

26. ---

27. # 获取图片的真实URL，并保存到列表中
    

    ---

28. # http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg
    

    ---

29. pic_url_list = [] 
    

    ---

30. ---

31. for hero_id in js_dict: 
    

    ---

32. for skin_id in range(20): 
    

    ---

33. skin_id = str(skin_id) 
    

    ---

34. if len(skin_id) == 1: 
    

    ---

35. num_str = '00' + skin_id 
    

    ---

36. elif len(skin_id) == 2: 
    

    ---

37. num_str = '0' + skin_id 
    

    ---

38. ---

39. pic_url = "http://ossweb-img.qq.com/images/lol/web201310/skin/big" + hero_id + num_str +".jpg"
    

    ---

40. ---

41. pic_url_list.append(pic_url) 
    

    ---

42. ---

43. # 设置文件名称
    

    ---

44. path = "D://lol/"
    

    ---

45. path_file_list = [] 
    

    ---

46. for pic_name in js_dict.values(): 
    

    ---

47. for skin_id in range(20): 
    

    ---

48. skin_id = str(skin_id) 
    

    ---

49. if len(skin_id) == 1: 
    

    ---

50. num_str = '00' + skin_id 
    

    ---

51. elif len(skin_id) == 2: 
    

    ---

52. num_str = '0' + skin_id 
    

    ---

53. ---

54. path_file = path + pic_name + num_str + ".jpg"
    

    ---

55. path_file_list.append(path_file) 
    

    ---

56. ---

57. # 下载
    

    ---

58. n = 0
    

    ---

59. for dl_url in pic_url_list: 
    

    ---

60. # n += 1
    

    ---

61. res = requests.get(dl_url) 
    

    ---

62. if res.status_code == 200: 
    

    ---

63. print("正在下载{}".format(path_file_list[n])) 
    

    ---

64. with open(path_file_list[n], "wb") as f: 
    

    ---

65. f.write(res.content) 
    

    ---

66. ---

67. n += 1
    

    ---

68. ---

69. ---

70. if __name__ == '__main__': 
    

    ---

71. getLOLImages() 
    

    ---

 

---