我正在尝试抓取一些用javascript呈现的数据。我想尝试使用phatomjs路线,但是遇到一些从R内部调用phantomjs的问题。
我下载了phatomjs,将文件放置在我的工作目录中,并尝试运行以下找到的here代码:
library(rvest)
url <- "http://64px.com/instagram/"
# write out a script phantomjs can process
writeLines(sprintf("var page = require('webpage').create();
page.open('%s', function () {
console.log(page.content); //page source
phantom.exit();
});", url), con="scrape.js")
# process it with phantomjs
system("phantomjs scrape.js > scrape.html")
最后一条命令生成此错误:
sh: phantomjs: command not found
我进行了一些搜索,这可能与PATH有关,但是我遵循了here的建议,但仍然会引发相同的错误。
sudo ln -s /phantomjs-2.0.0-macosx/bin/phantomjs /usr/local/bin/
知道为什么找不到phantomjs可执行文件吗?
谢谢。
会议信息:
R version 3.2.2 (2015-08-14)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.11.2 (El Capitan)
locale:
[1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] ggvis_0.4.2 knitr_1.11 dplyr_0.4.3 plyr_1.8.3 stringr_1.0.0 rvest_0.2.0
[7] magrittr_1.5 RSelenium_1.3.5 XML_3.98-1.3 RJSONIO_1.3-0 RCurl_1.95-4.7 bitops_1.0-6
[13] pacman_0.3.0
loaded via a namespace (and not attached):
[1] Rcpp_0.12.1 xtable_1.7-4 R6_2.1.1 httr_1.0.0 highr_0.5 caTools_1.17.1
[7] tools_3.2.2 parallel_3.2.2 DBI_0.3.1 htmltools_0.2.6 assertthat_0.1 digest_0.6.8
[13] shiny_0.12.2 formatR_1.2 mime_0.3 evaluate_0.7.2 stringi_0.5-5 httpuv_1.3.3
最佳答案
不幸的是,64pix站点没有使用XHR请求数据,而是在主页上填充了该“顶部”列表。如果执行以下操作,则可以避免系统调用并保持在R状态:
library(rvest)
library(V8)
url <- "http://64px.com/instagram/"
pg <- read_html(url)
script_data <- html_nodes(pg, "script")[[3]]
dat <- gsub("\\$\\(function.*$", "", html_text(script_data))
ctx <- v8()
ctx$eval(dat)
head(ctx$get("accounts"))
## username followers followers_now
## 1 instagram 64131228 45251017
## 2 justinbieber 23817614 20279386
## 3 kimkardashian 23519002 22218039
## 4 beyonce 22207790 21375819
## 5 arianagrande 21748827 20219621
## 6 selenagomez 19572601 18456569
即以创建数据的内联
<script>
部分为目标,将其裁剪(否则javascript会出错),然后获取结果数据。这是一项额外的侦探工作,但比使用phantomjs
特别是Selenuim的重量轻得多。