python - 带有防爬取保护功能的Python Post

尝试用Python从一个网站上删除内容，这个网站有一个简单的表单验证，用户名和密码，但也有一个名为“foil”的隐藏字段，其中包含每次加载页面时随机生成的字符串。为了成功登录，该值必须包含在文章的内容标题中。我试过在登录页面加载后删除随机字符串，但仍然将我重定向回登录。我有一个有效的用户名和密码，该网站的工作，但它是零星更新，我想给自己发送电子邮件时，有些变化。这是我到目前为止一直在使用的代码。。。

import urllib, urllib2, cookielib,subprocess

url='https://example.com/login.asp'

username='blah'
password='blah'

request = urllib2.Request(url)
opener = urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1))
preData = opener.open(request).readlines()
for line in preData:
    if("foil" in line):
        foils = line.split('"')
        notFoiled = foils[3]

query_args={'location':'','qstring':'','absr_ID':notFoiled,'id':username,'pin':password,'submit':'Sign In'}
requestWheader = urllib2.Request('https://example.com/login.asp')
requestWheader.add_data(urllib.urlencode(query_args))
print 'Request method after data :', requestWheader.get_method()

print
print 'OUTGOING DATA:'
print requestWheader.get_data()

print
print 'SERVER RESPONSE:'
print urllib2.urlopen(requestWheader).read()
rawRes = urllib2.urlopen(requestWheader).read()

表格看起来像这样。。。

<form name="loginform" method="post" action="https://example.com/login.asp?x=x&amp;&amp;pswd=">
<input type=hidden name="location" value="">
<input type=hidden name="qstring" value="">
<input type=hidden name="absr_ID" value="">
<input type=hidden name="foil" value="91fcMO">
<input type="text" name="id" maxlength="80" size="21" value="" mask="" desc="ID" required="true">
<input type="submit" name="submit" value="Sign In" onClick="return checkForm(loginform)">
<input type="password" name="pin" size="6" maxlength="6" desc="Pin" required="true">

最佳答案

您导入cookielib但似乎没有使用任何CookieJars：

jar = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(jar))

然后对初始表单获取和登录表单提交使用相同的opener。我假设这是一种基于cookie的保护，其中来自foil字段的值必须与头中的cookie匹配。
我在代码中注意到的另一件事是，您将notFoiled分配给absr_ID而不是foil。是故意的吗？
另外，请帮自己一个忙，使用html5lib或BeautifulSoup而不是手动解析HTML。