Request库学习

0x00前言

这库让我爱上了python 碉堡！

开心去学了一些python，然后就来学这个时候神库~~

资料来源:http://cn.python-requests.org/en/latest/user/quickstart.html

写上自己学习笔记

加上import requests

就可以开心的用这个库了！

+++++++++++++++++++++++++++++++++++++++++++++++++++

0x01请求篇

一)各种请求类型

>>> r = requests.put("http://blog.wils0n.cn/index.php")

>>> r = requests.delete("http://blog.wils0n.cn/index.php")

>>> r = requests.head("http://blog.wils0n.cn/index.php")

>>> r = requests.options("http://blog.wils0n.cn/index.php")

>>> r = requests.post("http://blog.wils0n.cn/index.php")

>>> r = requests.get("http://blog.wils0n.cn/index.php")

很漂亮哦~~~

二)传递参数:

用一个dict，字典数据类型就ok了

Get：

>>> import requests

>>> payload={'id':'1'}

>>> r=requests.get("http://blog.wils0n.cn",params=payload)

>>> r.url

u'http://blog.wils0n.cn/?id=1'

Post

>>> import requests

>>> payload={'id':'2'}

>>> r=requests.post("http://blog.wils0n.cn",payload)#可以不要params，或者加上data=payload

三)修改http头

我们常常要修改http包头的数据

还是可以用一个dict来填充着头

>>> header['User-Agent':'baidupaida']

>>> header['User-Agent']='baidupaida'

>>> header

{'X-FORWARDED-FOR': '192.168.1.1', 'Referer': 'http://www.baidu.com', 'User-Agen

t': 'baidupaida'}

>>> r=requests.get("http://blog.wils0n.cn",headers=header)

四)修改cookie

也是可以在这个http头里的

最好用一个dict来之填充cookies

>>> url = 'http://httpbin.org/cookies'

>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)

>>> r.text

'{"cookies": {"cookies_are": "working"}}

所以params，data，cookies，header都可以来修改http请求包

+++++++++++++++++++++++++++++++++++++++++++++++++++

0x02响应篇

当我们，改完我的http请求包。这时候，我们就得到一个http响应包对象

1.响应内容

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

u'[{"repository":{"open_issues":0,"url":"https://github.com/...

Request得到他自己推测的文章编码

当然你可以用r.encoding来设置！

1 2	`>>> r.content` `b'[{"repository":{"open_issues":0,"url":"https://github.com/...`

Requests会自动为你解码 gzip 和 deflate 传输编码的响应数据。

2.获取http响应的状态码

这在爬虫时候比较重要

r.status_code

当然现在有的网页404也是200 = =

要是302那就的用

r.history 来看看

3.获取http响应头信息

直接放在r.headers 这个dics字典里里面了很方便嘿嘿~~ 屌死了

>>> r.headers

{'content-length': '201', 'keep-alive': 'timeout=5, max=100', 'server': 'Apache/

2.2.21 (Win32) PHP/5.3.10', 'connection': 'Keep-Alive', 'date': 'Tue, 18 Nov 201

4 12:20:10 GMT', 'content-type': 'text/html; charset=iso-8859-1'}

>>> r.headers['server']

'Apache/2.2.21 (Win32) PHP/5.3.10'

#这调用太方便了，php还得匹配.不得不说dics这个数据结构让python如此便捷啊

+++++++++++++++++++++++++++++++++++++++++++++++++++

0x03高级篇会话

资料来源:http://cn.python-requests.org/en/latest/user/advanced.html#advanced

很多情况下，我们的需要与浏览器多次交换。不仅仅是一两次请求就可以完成的。也就是说我们需要去带上我们的cookie等会话

Requests库为我们创建一个很好用的sessions方法，让我们可以带着我们的会话~~

s = requests.Session()#返回一个requests的session对象

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

r = s.get("http://httpbin.org/cookies")

r=s.post("http://httpbin.org/cookies")

#这时候我们访问就会带上我们在cookie中的phpsessionid啦~ 表示前后是同一个会话

+++++++++++++++++++++++++++++++++++++++++++++++++++

0x04高级篇实例篇

1.编写一个利用socmd5来单线程批量破解md5的脚本

#coding=utf-8

import requests

import re

import sys

#定义破解接口

def md5hacher(md5):

payload={'isajax':'CEuqhtkYjBHjhI_0lS8EwMh','md5':md5}

#填充post内容

r=requests.post('http://aiisoo.com//somd5-index-md5.html',data=payload)

#处理python错误

try:

result=re.findall('<h1 style="display:inline;">(.*?)</h1>',r.text)

return result[0]

except:

return False

if __name__ == '__main__':

count=len(sys.argv)

if count!=2:

print "usage: cmd5.py pass.txt"

else:

filename=sys.argv[1]

#打开函数

d=open(filename,'r')

#一行一行读文件

data=d.readline().strip('\r\n')#有回车的

while(data):

#调用函数破解md5

password=md5hacher(data)

if password:

print "{0} is crack {1}" .format(data,password)

else:

print "%s can't crack by socmd5 " %data

data=d.readline().strip('\r\n')

2.ssctf的某题解法

题目的意思就是，你访问index.php 的时候密码就在headers头里面。然后你要将这个密码进行md5加密，然后再post给index.php。中间等待你的时间很短，反正你手工是不可能了。我之前用php搞定的。现在写了python，代码短了好多 Request库学习-LMLPHP

#coding:utf8

import requests

import hashlib

import re

__author__ = 'wilson'

if __name__=="__main__":

#创建session对象

s=requests.session()

#get请求获取reponse数据包

r=s.get("http://ctf.sobug.com/hack_game/f8495eeedb8e92ee/index.php")

#请求头的数据表这真心好~~~ 不要你去匹配了

password=r.headers['password']

#md5加密

md5=hashlib.md5()

md5.update(password)

password=md5.hexdigest()

payload={'password':password}

#post数据包，注意这里是用一个session哦~~~

r=s.post("http://ctf.sobug.com/hack_game/f8495eeedb8e92ee/index.php",payload)

#正则匹配key位置

key = re.findall("key:(.*?)<!",r.content)

print "key is %s\r\n" %key[0]

HTTP

Request库学习