python - 寻找等同于机械化功能的请求

我有兴趣看看 Requests 是否可以处理我主要在 Mechanize 中做的一些任务。

Mechanize 可以轻松处理填写表单和提交表单，我很难在请求中尝试做同样的事情。

例如，

import mechanize
br = mechanize.Browser()
url = "https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7"
br.open(url)
br.select_form(nr=1)
br.form['format']=['2']
br.form['date_format']=['2']
response = br.submit().read()

等价的请求是否不是:

import requests
url = "https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7"
payload = {'format':'2','date_format':'2'}
r = requests.post(url, data=payload)

requests.post 是否不提交表单以下载页面中嵌入的 CSV？

此外，有关其他信息，以下是页面上的表单的外观:

for form in br.forms():
    print form

<POST https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7  application/x-www-form-urlencoded
    <TextControl(search_block_form=)>
    <SubmitControl(op=Search) (readonly)>
    <RadioControl(search_type=[*quote, site])>
    <HiddenControl(form_build_id=form-af2eb21e9b6448ffca4e358d0b52f499) (readonly)>
    <HiddenControl(form_id=search_block_form) (readonly)>
    <HiddenControl(search_target=search_instruments) (readonly)>
    <HiddenControl(search_language=&lan=) (readonly)>>
<POST https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7 application/x-www-form-urlencoded
  <RadioControl(format=[*1, 2, 3])>
  <RadioControl(layout=[*2, 1])>
  <RadioControl(decimal_separator=[*1, 2])>
  <RadioControl(date_format=[*1, 2])>
  <SubmitControl(op=Go) (readonly)>
  <SubmitControl(op=Cancel) (readonly)>
  <HiddenControl(form_build_id=form-37e81285a4dbf60e091037f904bac2eb) (readonly)>
  <HiddenControl(form_id=nyx_download_form) (readonly)>>

最佳答案

requests 的作用与 Mechanize 不同。

Mechanize 加载实际的 HTML 表单并解析它，让您为表单中的各种元素填写值。当您要求 Mechanize 提交表单时，它会使用表单中的所有信息向服务器生成有效请求。这包括您没有为其提供新值的任何表单元素，如果存在则使用默认值。这包括在浏览器中不可见的任何隐藏表单元素。

改用类似 robobrowser 的项目；它包装 requests 和 BeautifulSoup 以加载网页、解析表单元素、帮助您填写这些元素并再次提交它们。

如果您只想使用请求，则需要确保发布表单定义的所有字段。这意味着您需要查看 method 属性(默认为 GET )、 action 属性(默认为当前 URL)，以及所有 input 、 select 、 textarea 和 button 元素。服务器还可能需要 HTTP 请求中的其他信息，例如 cookie 或 Referer (sic) header 。

例如，您打印的 Mechanize 信息表明它已从您未为其提供值的表单中解析了多个字段。例如，有问题的表单还包含一个名为 form_build_id 的隐藏输入字段，服务器可能依赖该字段。 Mechanize 还会捕获与原始表单请求一起发送的任何 cookie，并且这些 cookie 也可能是服务器接受请求所必需的。 robobrowser 会考虑相同的上下文。

关于python - 寻找等同于机械化功能的请求，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25893517/