我正在尝试从具有多个页面的一个URL下载数据。
例如)https://stackoverflow.com/questions/tagged/c%2b%2b?sort=newest&page=2&pagesize=15
我想从不同页面下载所有数据
例如,pages = 1,pages = 2,pages = 3等。

如果我在某个页面上使用一个网址创建了一个curl句柄,
在不担心性能的情况下替换网址(仅页面号)是否可以?

每次移至下一页并下载数据时,我都会创建一个curl句柄。
我从其他人那里得到了一个建议,那就是创建一个ssl会话并保持其连接会更好,这样我创建SSL连接时就不必经历所有SSL握手。

根据Libcurl页面,建议使用相同的句柄以提高性能,但是我不确定是否可以使用不同的URL进行处理。

最佳答案

您可以并且应该尽可能重用相同的curl实例。只要继续重复curl_easy_setopt(CURLOPT_URL, ...); curl_easy_perform(...);调用即可。

补充说明:


如果使用curl_multi_init界面(example),则可以并行下载多个URL。
StackExchange有一个very good REST API。无需刮擦。

关于c++ - 我可以对不同的网址使用相同的 curl 句柄吗? (尝试从一个网址的多个页面下载数据),我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/56321261/

10-16 16:19
查看更多