题记：
11月14日早晨8点，人人网发布公告，宣布人人公司将人人网社交平台业务相关资产以2000万美元的现金加4000万美元的股票对价出售予北京多牛传媒，自此，人人公司将专注于境内的二手车业务和在美国的投资业务。
人人网CEO陈一舟说：“很高兴为人人网找到一个新的归宿和起点。”
然而对于人人网曾经近2亿的注册用户来说，哪有什么新的开始，故事已经到了尽头。
彼时，他们还是刚刚逃离高考噩梦的青涩大学生，抓住人人网这个宣泄口乐此不疲地表达着自我；现在，他们苦思冥想记忆中的账号密码，费力登上网站，发布最后一条状态：再见，人人。
还有更多的人登陆了人人网的手机客户端，结果发现连发布状态的按钮都找不到，一个明晃晃的“我要开播”，和首页上让人眼花缭乱的美女短视频，显示出在移动互联网时代，人人网早已从一个社交App，转型为短视频和直播应用。
他们只能压抑住心中的不舍，卸载了这个承载青春记忆的网站，转而去微博上说出那句告别的话语，和千千万的人一起来缅怀过往，“人人网被卖了”迅速站上热搜榜第一。
曾经活跃在人人上的那些青年们，如今都走入社会结婚生子，他们中的许多人，正是在人人上认识了自己的人生伴侣；而新的大学年轻人被琳琅满目的App牵着走，睁眼微信，早饭抖音，上课豆瓣，下课B站，午饭微博，晚饭头条，一个个分散在各自的小圈子里，十年前全国的青年汇聚在校内网上谈论星辰大海的场景，终究会消逝在一代人的记忆当中。
此次案例：
Python3爬取人人网（校内网）个人照片及朋友照片，并一键下载到本地
逆向思维来
以自己的人人网主页为例http://www.renren.com/23231****/profile，其中23231****是人人网给每个人分配的id号（用****隐去了后面四位）
因为需要使用账户名和密码，本程序使用了cookie登陆（每天需要更换cookie）
第一步：下载某个相册内的所有照片到本地
打开自己的某个相册，我的以http://photo.renren.com/photo/23231****/album-252396640/v7，为例。多开几个相册观察相册的连接可以发现，album-后面的字符串代表了相册的id
人人网存储了两种大小的照片，一种是缩略图，一种是点开某个照片显示的原图（当然不可能跟你拍的原图是一样大小的，为节省空间，上传的过程中系统会进行同比例的压缩处理），我们这个脚本下载较大尺寸的照片
按F12打开开发者工具，找到某个照片的连接，分别copy到浏览器看一下哪个是大尺寸的照片连接，可以看到标红的即为我们需要的
那么接下来就是使用python赶紧着把这些url获取到吧
but！
xpath爬出来是空，why？查询源代码后发现上一段代码是写在<script>标签内的
那么就用正则匹配试了下是ok哒
but！
抓取出来的url数量比相册内的照片数量少啊，看了几个相册发现，源代码中的url最多有40个，如果你的相册中照片数量大于40就会不全，心塞！
爬虫写的多了，到这里就知道应该去哪里找了，当然是动态加载文件啊
开发者工具切换到network页签选择XHR，然后刷新一下网页并滑动到相册最下面，可以看到左下侧出现了很多，点击红色框线内的随意一个文件，在右侧选中Headers看RequestURL
把这段字符串粘贴到浏览器中，发现显示是json数据
经测试可知，去掉&requestToken=-1989347373&_rtk=552df62d也可，并且前面的pageSize可以更改大小（最大是100）
遍历输出的时候需要注意：相册内数量、pageSize和page三者是有关联的
那么问题来了，我还需要获取到相册数量这个参数！
def download_photo(each_album_link,album_photoNumber,album_name,album_id,person):
"""
按照相册下载内部所有照片到同名文件夹
:param each_album_link:<str> 各个相册链接
:param album_photoNumber: <int> 每个相册内的照片数量
:param album_name: <str>相册名称，用来创建同名的文件夹
:param album_id:<str>相册id，用来创建同名文件夹
:param person: <str>所属人名字，用来创建一级文件夹名称
:return: none
"""
n = 0
while n < album_photoNumber:
#例如个人某个相册链接为http://photo.renren.com/photo/23231****/album-284966900/v7
#需要构建出来以下形式的相册网页（json格式）
# 'http://photo.renren.com/photo/23231****/album-284966900/bypage/ajax/v7?page=1&pageSize=100' ，经测试最多pageSize=100
link_para = 'bypage/ajax/v7?page={}&pageSize=100'.format(int((n/100)+1))
js_link = each_album_link.replace('v7',link_para)#构建相册网页（json格式）
print(js_link) file_path = make_file(person,album_name,album_id)#调用函数make_file
#print(file_path) html_data = requests.get(js_link, headers=headers)
try:
json_data = html_data.json()['photoList']
for i in range(0,len(json_data)):
link = json_data[i]['url']#获取相册中每张照片的下载链接
#print(link)
if file_path is None:
return
else:
if os.path.exists(file_path +'/'+str(i+n+1)+'.jpg'):
pass
else:
with open(file_path +'/'+str(i+n+1)+'.jpg','wb') as f:
f.write(requests.get(link, headers=headers).content)
except:
print('访问受限，需要密码！') n = n + 100#根据Pagesize设置步长
第一步小结：
通过相册的id或者连接+相册内的照片数量共同构建json格式的相册链接，通过这个链接可以获取到照片的下载地址，通过write写入本地
注意一点，有的相册是需要访问密码的，虽说能获取相册的一些信息，但是没有json数据的
那么怎么获取各个相册的id或者连接和照片数量呢？请看第二步
第二步：获取每个相册的id、内含照片数量、相册名称等信息
在个人的“相册”下就能够获取这些信息，例如我的相册http://photo.renren.com/photo/23231***/albumlist/v7?offset=0&limit=40#或者http://photo.renren.com/photo/23231****/albumlist/v7均可访问
注意一下，页面右下角有个按钮“查看全部”
，一定要点击一下看看是否页面发生了变化。反正我的是变了，一些相册也展现了出来。这时在看下网页链接是否发生了变化
结果，多了“showAll=1#”
因此，这一步骤的个人相册网页可以直接变为：http://photo.renren.com/photo/24422****/albumlist/v7?showAll=1
跟步骤一一样，相册的一些信息也是写在<stript>标签内的，看网址中有个limit=40猜想应该也是限制了源代码中只有40个相册的信息
因为我的相册不够40个，因此无法获取动态加载的文件，索性就直接正则匹配吧
如果你的相册数量大于40，可以安装步骤一的思路来获取
def get_album_data(album_link):
"""
在个人相册链接的网页源代码中，正则匹配相册数量和所有相册的名称、id、相册内包含的照片数
:param album_link: <str> 个人相册链接，点开显示全部可看完整的相册展示，因此连接中需要写明showAll=1
例如http://photo.renren.com/photo/24422****/albumlist/v7?showAll=1
:return: <list> 相册名称、id、内含照片数以及相册数量和所属人名字
"""
html_data = requests.get(album_link, headers=headers)
album_name = re.findall('"albumName":"(.*?)"', html_data.text,re.S)
print('直接正则匹配出来的相册名称，不一定显示中文：',album_name)
album_id = re.findall('"albumId":"(.*?)"', html_data.text,re.S)
album_photoNumber = re.findall('"photoCount":(.*?),', html_data.text,re.S)
album_number = re.findall("albumCount': (.*?),",html_data.text,re.S)
person = re.findall('<title>人人网 - (.*?)的相册</title>',html_data.text,re.S)#人人网所属人
#print('各相册信息：',album_name,album_id,album_photoNumber,album_number,person)
return album_name,album_id,album_photoNumber,album_number,person
这里有个坑就是获取到album_name的字段，打印出来看有时候显示中文，有时候显示'\\u660e\\u660e\\u7684\\u5feb\\u4e50\\u751f\\u6d3b'这种鬼样子……
还有的时候本来相册的名字是“我的大学——朋友”，中间有个——，那么若是全部显示成Unicode形式倒也没问题，直接整体做个转换就行
but有时候直接显示出来我的大学\u2014\u2014朋友，这个坑我暂时还没想到怎么处理……
第二步小结：通过个人相册的连接打开，用正则匹配出每个相册的名称、id、内含照片数量、相册数量（包含照片数量为0的相册）和所属人
这一步只获取了各个相册的id，并没有直接返回相册的连接（这一步操作在主函数中进行）
那么怎么获取个人相册的连接呢？请看第三步
第三步：通过个人主页获取个人相册链接
这一步就很简单了，啥方法都行，别忘了后面加上'?showAll=1'才能显示全部相册
def get_album_link(user_link):
"""
通过个人主页正则匹配"个人相册"按钮链接
:param user_link: 个人主页网址，例如http://www.renren.com/24422****/profile
:return: <str>个人相册链接，例如http://photo.renren.com/photo/24422****/albumlist/v7?showAll=1
"""
html_data = requests.get(user_link, headers=headers)
#print(html_data.text)
album_link = re.findall('"(.*?)">相册', html_data.text)[0]+'?showAll=1'#获取个人相册的连接
print('个人相册链接：',album_link)
return album_link
第三步没啥可总结的，个人主页就手动找手动输入吧
第四步：创建文件夹
思路是手动提前建立《人人网相册》，然后在此文件夹下按照所属人姓名建立一级文件夹，在一级文件夹下按照文件夹名称同名建立文件夹保存照片
既然要建立文件夹并命名，就少不了命名方面的规范，我这里没有做严格的筛选，若无法新建则直接pass
因为读取的是第二步返回的相册名称，因此有同样的相册显示问题，我这里认为显示的是unicode形式，然后做了.encode("utf-8").decode("unicode_escape")，这样可以保证显示出来的是中文；
若读取出来的直接是中文，经过.encode("utf-8").decode("unicode_escape")后显示的是乱码（也能创建文件夹成功），此时重新运行直到显示的是unicode即可
这一步没有找到很好的解决方案
def make_file(person,album_name,album_id):
"""
创建一级文件夹（以个人名字为文件名称）和二级文件夹（以相册名称命名），若存在则不重复建立
若存在或者创建成功key=1并返回路径，否则key=0
对文件命名规范不做限制，若失败直接pass
注意事项：读出的相册名称有时候显示中文，有时候显示成unicode形式，有时候两者均有；album_id是为了区别人人网上有重名的文件夹
:param person: <str> 个人名字，用来生成个人名下的一级文件夹
:param album_name: <str> 相册名字，用来生成同名文件夹
:param album_id:<str>相册id，用来创建同名文件夹
:return:<str> 相册所在路径
""" file_path=''
album_name = album_name.encode("utf-8").decode("unicode_escape")
#按个人名字生成一级文件夹，成功创建或者已存在则key=1，否则key=0
if os.path.exists((os.getcwd() + '\人人网相册'+'/' + person)):
key = 1
else:
try:
os.mkdir(os.getcwd() + '\人人网相册'+'/' + person)
key = 1
except:
key = 0
print(key,'文件夹《' + person + '》创建失败，请查看命名方式！') #在一级文件夹下（以key=1进行判断）生成各个相册的文件夹
if key == 1:
file_path = os.getcwd() + '/人人网相册' + '/' + person + '/' + album_name+'_'+ album_id#加id是为了解决文件夹重名问题
if os.path.exists(file_path):
pass
else:
try:
os.mkdir(file_path)
except:
print(key, '文件夹《' + album_name +'_'+ album_id+'》创建失败，请查看命名方式！')
key = 0
if key == 1:
#print(file_path)
return file_path
else:
#print('文件夹创立失败，请排查错误！')
return None
第四步小结：
如果简单点来做的话，可以用个人id和相册的id作为文件夹名称，因为都是数字肯定不会出错，但是就是对于读者不太友好
所有功能的函数都已调试好之后，需要主函数调用各个模块啦，为了方便理解，先画个图吧（画的不专业，意思意思）
if __name__=='__main__':
Host_url= 'http://www.renren.com/23231****/profile'#个人主页
Host_id = Host_url.split('/')[-2]
data = get_album_data(get_album_link(Host_url))
person = data[4][0]
#print(person)
album_number = int(data[3][0])#相册数量
for i in range(0,album_number):
each_album_link = 'http://photo.renren.com/photo/'+Host_id+'/album-' + data[1][i] + '/v7' # 构造各个相册链接,data[1][i]是相册id
#each_album_link = 'http://photo.renren.com/photo/24422****/album-' + data[1][i] + '/v7' #构造各个相册链接,data[1][i]是相册id
print(each_album_link)
album_name = data[0][i] #相册名称
album_photoNumber = int(data[2][i])
download_photo(each_album_link, album_photoNumber, album_name,data[1][i],person)
输出结果：
总结：
1. 如果登陆自己的账户，不仅可以爬下自己的照片，还可以爬其他人的
因为人人网是相对来说公开的，只有你能浏览到的就可以爬，如果有些人设置了好友可见（那么你如果作为非好友是看不到也爬不下来的）
2. 其实可以用打包软件生成可执行文件，这样小伙伴们就可以用自己的账号或者cookie下载自己的啦
3. 免登陆的方式有很多种，我这里使用的是cookie方式，每天都需要更改cookie，不太友好，以后会专门写一篇关于这种账号登陆的网站怎么爬取的文章吧
4. 其实每张照片都有评论的，评论也是可以有方法爬取的呦
5. 运行的时候，观察一下打印出来的相册名称，若是中文请重新运行直到是显示成\\u****的unicode形式
源代码：
'''
Python3爬取人人网（校内网）个人照片及朋友照片，并一键下载到本地
免登陆的方式有很多种，我这里使用的是cookie方式，每天都需要更改cookie
如果登陆自己的账户，不仅可以爬下自己的照片，还可以爬其他人的
因为人人网是相对来说公开的，只有你能浏览到的就可以爬，如果有些人设置了好友可见（那么你如果作为非好友是看不到也爬不下来的）
''' import requests,re,os headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'cookie':你的cookie，自行填写
} def download_photo(each_album_link,album_photoNumber,album_name,album_id,person):
"""
按照相册下载内部所有照片到同名文件夹
:param each_album_link:<str> 各个相册链接
:param album_photoNumber: <int> 每个相册内的照片数量
:param album_name: <str>相册名称，用来创建同名的文件夹
:param album_id:<str>相册id，用来创建同名文件夹
:param person: <str>所属人名字，用来创建一级文件夹名称
:return: none
"""
n = 0
while n < album_photoNumber:
#例如个人某个相册链接为http://photo.renren.com/photo/23231****/album-284966900/v7
#需要构建出来以下形式的相册网页（json格式）
# 'http://photo.renren.com/photo/23231****/album-284966900/bypage/ajax/v7?page=1&pageSize=100' ，经测试最多pageSize=100
link_para = 'bypage/ajax/v7?page={}&pageSize=100'.format(int((n/100)+1))
js_link = each_album_link.replace('v7',link_para)#构建相册网页（json格式）
print(js_link) file_path = make_file(person,album_name,album_id)#调用函数make_file
#print(file_path) html_data = requests.get(js_link, headers=headers)
try:
json_data = html_data.json()['photoList']
for i in range(0,len(json_data)):
link = json_data[i]['url']#获取相册中每张照片的下载链接
#print(link)
if file_path is None:
return
else:
if os.path.exists(file_path +'/'+str(i+n+1)+'.jpg'):
pass
else:
with open(file_path +'/'+str(i+n+1)+'.jpg','wb') as f:
f.write(requests.get(link, headers=headers).content)
except:
print('访问受限，需要密码！') n = n + 100#根据Pagesize设置步长 def get_album_data(album_link):
"""
在个人相册链接的网页源代码中，正则匹配相册数量和所有相册的名称、id、相册内包含的照片数
:param album_link: <str> 个人相册链接，点开显示全部可看完整的相册展示，因此连接中需要写明showAll=1
例如http://photo.renren.com/photo/24422****/albumlist/v7?showAll=1
:return: <list> 相册名称、id、内含照片数以及相册数量
"""
html_data = requests.get(album_link, headers=headers)
album_name = re.findall('"albumName":"(.*?)"', html_data.text,re.S)
print('直接正则匹配出来的相册名称，不一定显示中文：',album_name)
album_id = re.findall('"albumId":"(.*?)"', html_data.text,re.S)
album_photoNumber = re.findall('"photoCount":(.*?),', html_data.text,re.S)
album_number = re.findall("albumCount': (.*?),",html_data.text,re.S)
person = re.findall('<title>人人网 - (.*?)的相册</title>',html_data.text,re.S)#人人网所属人
print('各相册信息：',album_name,album_id,album_photoNumber,album_number,person)
return album_name,album_id,album_photoNumber,album_number,person def make_file(person,album_name,album_id):
"""
创建一级文件夹（以个人名字为文件名称）和二级文件夹（以相册名称命名），若存在则不重复建立
若存在或者创建成功key=1并返回路径，否则key=0
对文件命名规范不做限制，若失败直接pass
注意事项：读出的相册名称有时候显示中文，有时候显示成unicode形式，有时候两者均有；album_id是为了区别人人网上有重名的文件夹
:param person: <str> 个人名字，用来生成个人名下的一级文件夹
:param album_name: <str> 相册名字，用来生成同名文件夹
:param album_id:<str>相册id，用来创建同名文件夹
:return:<str> 相册所在路径
""" file_path=''
album_name = album_name.encode("utf-8").decode("unicode_escape")
#按个人名字生成一级文件夹，成功创建或者已存在则key=1，否则key=0
if os.path.exists((os.getcwd() + '\人人网相册'+'/' + person)):
key = 1
else:
try:
os.mkdir(os.getcwd() + '\人人网相册'+'/' + person)
key = 1
except:
key = 0
print(key,'文件夹《' + person + '》创建失败，请查看命名方式！') #在一级文件夹下（以key=1进行判断）生成各个相册的文件夹
if key == 1:
file_path = os.getcwd() + '/人人网相册' + '/' + person + '/' + album_name+'_'+ album_id#加id是为了解决文件夹重名问题
if os.path.exists(file_path):
pass
else:
try:
os.mkdir(file_path)
except:
print(key, '文件夹《' + album_name +'_'+ album_id+'》创建失败，请查看命名方式！')
key = 0
if key == 1:
#print(file_path)
return file_path
else:
#print('文件夹创立失败，请排查错误！')
return None def get_album_link(user_link):
"""
通过个人主页正则匹配"个人相册"按钮链接
:param user_link: 个人主页网址，例如http://www.renren.com/24422****/profile
:return: <str>个人相册链接，例如http://photo.renren.com/photo/24422****/albumlist/v7?showAll=1
"""
html_data = requests.get(user_link, headers=headers)
#print(html_data.text)
album_link = re.findall('"(.*?)">相册', html_data.text)[0]+'?showAll=1'#获取个人相册的连接
print('个人相册链接：',album_link)
return album_link if __name__=='__main__':
Host_url= 'http://www.renren.com/23231****/profile'#个人主页
Host_id = Host_url.split('/')[-2]
data = get_album_data(get_album_link(Host_url))
person = data[4][0]
#print(person)
album_number = int(data[3][0])#相册数量
for i in range(0,album_number):
each_album_link = 'http://photo.renren.com/photo/'+Host_id+'/album-' + data[1][i] + '/v7' # 构造各个相册链接,data[1][i]是相册id
#each_album_link = 'http://photo.renren.com/photo/24422****/album-' + data[1][i] + '/v7' #构造各个相册链接,data[1][i]是相册id
print(each_album_link)
album_name = data[0][i] #相册名称
album_photoNumber = int(data[2][i])
download_photo(each_album_link, album_photoNumber, album_name,data[1][i],person)