我试图通过spookyjs从站点抓取数据并将其存储在mongoDB中。我能够从网站获取数据。但是无法将spookyjs环境中的抓取数据保存到mongoDB。为了保存抓取的数据,我将数据库模型实例传递给spookyjs。我参考了下面的链接。
https://github.com/SpookyJS/SpookyJS/wiki/Introduction
下面是我的代码,在其中提取prod_link_info变量中的数据并将其值传递到mongoDB中
var product_model = require('./product').product_model;
//get results
spooky.then([{product_model:product_model},function(){
this.waitForSelector('li[id^="product_"]', function() {
// Get info on all elements matching this CSS selector
var prod_link_info = this.evaluate(function() {
var nodes = document.querySelectorAll('li[id^="product_"]');
return [].map.call(nodes, function(node) { // Alternatively: return Array.prototype.map.call(...
return node.querySelector('a').getAttribute('href')+"\n";
});
});
//insert values in mongodb
for (var i = 0; i < prod_link_info.length; i++) {
product_model.create(
{
prod_link_info:prod_link_info[i],
}, function(err, product){
if(err) console.log(err);
else console.log(product);
});
} });
}]);
下面是上面代码中使用的数据库模式和模型的代码。
var mongoose=require('mongoose');
var Schema = mongoose.Schema;
// create a schema
var productSchema = new Schema({
prod_link_info: String,
});
var product_model= mongoose.model('product_model', productSchema);
module.exports = {
product_model: product_model
}
但是,当我运行上述代码时,出现以下错误
ReferenceError: Can't find variable: product_model
。我想将从spookyjs提取的数据存储到mongoDB。请提出我在哪里做错了。
最佳答案
当您将变量的哈希传递给spooky时,它将使用JSON.stringify
转换为字符串,然后在casper环境中使用JSON.parse
转换回对象(请参考docs);因此不可能将猫鼬模型传递给Casper环境(此外,没有实际原因)。
要解决该问题,您应该从Spooky(casper)环境传递数据。据我所知,唯一的方法是emit
数据,然后使用spooky.on
处理它。您的示例应如下所示:
var product_model = require('./product').product_model;
//get results
spooky.then([{},function(){
this.waitForSelector('li[id^="product_"]', function() {
// Get info on all elements matching this CSS selector
var prod_link_info = this.evaluate(function() {
var nodes = document.querySelectorAll('li[id^="product_"]');
return [].map.call(nodes, function(node) { // Alternatively: return Array.prototype.map.call(...
return node.querySelector('a').getAttribute('href')+"\n";
});
});
this.emit('data.ready', prod_link_info);
});
}]);
spooky.on('data.ready', function (prod_link_info) {
//insert values in mongodb
for (var i = 0; i < prod_link_info.length; i++) {
product_model.create(
{
prod_link_info:prod_link_info[i],
}, function(err, product){
if(err) console.log(err);
else console.log(product);
});
}
});