我在此站点上找到了此脚本：
from twisted.web import proxy, http
from twisted.internet import reactor
import sys
class MyProxy(proxy.Proxy):
def dataReceived(self, data):
print data
return proxy.Proxy.dataReceived(self, data)
class ProxyFactory(http.HTTPFactory):
protocol=MyProxy
factory = ProxyFactory()
reactor.listenTCP(8080, factory)
reactor.run()
如您所见，在这里我重写了dataReceived方法来打印数据。在运行时，此命令将每个请求的标头打印到stdout：
GET http://careers.stackoverflow.com/ad/i/nNxudq0-kvjnJ84-n6osrC0-12-vYY HTTP/1.1
Host: careers.stackoverflow.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:12.0) Gecko/20100101 Firefox/12.0
Accept: image/png,image/*;q=0.8,*/*;q=0.5
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip, deflate
Proxy-Connection: keep-alive
Referer: http://stackoverflow.com/questions/7052849/simple-http-proxy
Cookie: __utma=140029553.285085787.1331510700.1337692646.1337711538.33; __utmz=140029553.1337711538.33.19.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __qca=P0-608923218-1331510699748; usr=t=5TLQ0kWmkGJo&s=RgkodeSUGq8k; __utmc=140029553; __utmb=140029553.3.10.1337711538
是否有可能以某种方式（或任何其他实现）覆盖此方法，以便我可以将接收到的数据（标头）作为字典进行访问（例如：data ['Host'] ='xxxx'...）
我也想从该页面获取所有URL。
最佳答案
由于您获取的是原始数据，因此请测试每行是否为标题（/ ^ [-a-zA-Z] +：/听起来像是一个不错的开始；还请注意表示标题结尾的double crlf）。 ，然后将其存储到字典中。
关于python - 扭曲的简单HTTP代理续，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/10708148/