尝试从特定网页下载信息，尽管它可以在任何浏览器中正常打开，但是RCurl表示它不存在:
url.exists("http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA")
[1] FALSE
使用“.de”时，结果相同。
url.exists("http://www.transfermarkt.de/liga-mx-clausura/startseite/wettbewerb/MEX1")
[1] FALSE
使用RCurl的其他功能时，它还会返回错误
> htmlParse("http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA")
Error: failed to load HTTP resource
> htmlTreeParse("http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA")
Error: failed to load HTTP resource
> htmlParse(getURL("http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA"))
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr>
<center>nginx</center>
</body>
</html>
为什么会这样呢？
如何在此网页上成功使用htmlParse？
编辑:
我对httr包非常熟悉，这很好用:
content(GET("http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA"))
最佳答案
当您的HTTP请求中不包含用户代理字符串时，该网络服务器似乎返回403禁止错误。默认情况下，RCurl不传递用户代理。您可以使用useragent=参数设置一个。
myurl<-"http://www.transfermarkt.es/liga-mx-apertura/startseite/wettbewerb/MEXA"
url.exists(myurl, useragent="curl/7.39.0 Rcurl/1.95.4.5")
# [1] TRUE
htmlTreeParse(getURL(myurl, useragent="curl/7.39.0 Rcurl/1.95.4.5"))
我认为
httr包比RCurl更好，可以发出HTTP请求(它默认设置了一个用户代理字符串)。这是相应的代码library(httr)
GET(myurl)
关于Rcurl:网址确实存在时url.exists返回false，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29130237/