我正在尝试抓取一些用javascript呈现的数据。我想尝试使用phatomjs路线,但是遇到一些从R内部调用phantomjs的问题。

我下载了phatomjs,将文件放置在我的工作目录中,并尝试运行以下找到的here代码:

library(rvest)

url <- "http://64px.com/instagram/"

# write out a script phantomjs can process

writeLines(sprintf("var page = require('webpage').create();
page.open('%s', function () {
    console.log(page.content); //page source
    phantom.exit();
});", url), con="scrape.js")

# process it with phantomjs

system("phantomjs scrape.js > scrape.html")


最后一条命令生成此错误:

sh: phantomjs: command not found


我进行了一些搜索,这可能与PATH有关,但是我遵循了here的建议,但仍然会引发相同的错误。

sudo ln -s /phantomjs-2.0.0-macosx/bin/phantomjs /usr/local/bin/


知道为什么找不到phantomjs可执行文件吗?

谢谢。

会议信息:

R version 3.2.2 (2015-08-14)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.11.2 (El Capitan)

locale:
[1] en_US.UTF-8/en_US.UTF-8/en_US.UTF-8/C/en_US.UTF-8/en_US.UTF-8

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

other attached packages:
 [1] ggvis_0.4.2     knitr_1.11      dplyr_0.4.3     plyr_1.8.3      stringr_1.0.0   rvest_0.2.0
 [7] magrittr_1.5    RSelenium_1.3.5 XML_3.98-1.3    RJSONIO_1.3-0   RCurl_1.95-4.7  bitops_1.0-6
[13] pacman_0.3.0

loaded via a namespace (and not attached):
 [1] Rcpp_0.12.1     xtable_1.7-4    R6_2.1.1        httr_1.0.0      highr_0.5       caTools_1.17.1
 [7] tools_3.2.2     parallel_3.2.2  DBI_0.3.1       htmltools_0.2.6 assertthat_0.1  digest_0.6.8
[13] shiny_0.12.2    formatR_1.2     mime_0.3        evaluate_0.7.2  stringi_0.5-5   httpuv_1.3.3

最佳答案

不幸的是,64pix站点没有使用XHR请求数据,而是在主页上填充了该“顶部”列表。如果执行以下操作,则可以避免系统调用并保持在R状态:

library(rvest)
library(V8)

url <- "http://64px.com/instagram/"
pg <- read_html(url)

script_data <- html_nodes(pg, "script")[[3]]
dat <- gsub("\\$\\(function.*$", "", html_text(script_data))

ctx <- v8()
ctx$eval(dat)
head(ctx$get("accounts"))
##        username followers followers_now
## 1     instagram  64131228      45251017
## 2  justinbieber  23817614      20279386
## 3 kimkardashian  23519002      22218039
## 4       beyonce  22207790      21375819
## 5  arianagrande  21748827      20219621
## 6   selenagomez  19572601      18456569


即以创建数据的内联<script>部分为目标,将其裁剪(否则javascript会出错),然后获取结果数据。这是一项额外的侦探工作,但比使用phantomjs特别是Selenuim的重量轻得多。

07-26 07:00