我试图通过spookyjs从站点抓取数据并将其存储在mongoDB中。我能够从网站获取数据。但是无法将spookyjs环境中的抓取数据保存到mongoDB。为了保存抓取的数据,我将数据库模型实例传递给spookyjs。我参考了下面的链接。


  https://github.com/SpookyJS/SpookyJS/wiki/Introduction


下面是我的代码,在其中提取prod_link_info变量中的数据并将其值传递到mongoDB中

   var product_model = require('./product').product_model;

     //get results
       spooky.then([{product_model:product_model},function(){
                this.waitForSelector('li[id^="product_"]', function() {
                   //  Get info on all elements matching this CSS selector
                    var prod_link_info = this.evaluate(function() {
                        var nodes = document.querySelectorAll('li[id^="product_"]');

                        return [].map.call(nodes, function(node) { // Alternatively: return Array.prototype.map.call(...
                            return node.querySelector('a').getAttribute('href')+"\n";
                        });
                    });

            //insert values in mongodb
            for (var i = 0; i < prod_link_info.length; i++) {
                product_model.create(
                    {
                        prod_link_info:prod_link_info[i],
                    }, function(err, product){
                        if(err) console.log(err);
                        else console.log(product);
                    });
            } });
    }]);


下面是上面代码中使用的数据库模式和模型的代码。

var mongoose=require('mongoose');
var Schema = mongoose.Schema;
// create a schema
var productSchema = new Schema({
    prod_link_info: String,

});

var product_model= mongoose.model('product_model', productSchema);

module.exports = {
    product_model: product_model
}


但是,当我运行上述代码时,出现以下错误ReferenceError: Can't find variable: product_model

我想将从spookyjs提取的数据存储到mongoDB。请提出我在哪里做错了。

最佳答案

当您将变量的哈希传递给spooky时,它将使用JSON.stringify转换为字符串,然后在casper环境中使用JSON.parse转换回对象(请参考docs);因此不可能将猫鼬模型传递给Casper环境(此外,没有实际原因)。

要解决该问题,您应该从Spooky(casper)环境传递数据。据我所知,唯一的方法是emit数据,然后使用spooky.on处理它。您的示例应如下所示:

var product_model = require('./product').product_model;

//get results
spooky.then([{},function(){
        this.waitForSelector('li[id^="product_"]', function() {
           //  Get info on all elements matching this CSS selector
            var prod_link_info = this.evaluate(function() {
                var nodes = document.querySelectorAll('li[id^="product_"]');

                return [].map.call(nodes, function(node) { // Alternatively: return Array.prototype.map.call(...
                    return node.querySelector('a').getAttribute('href')+"\n";
                });
            });

            this.emit('data.ready', prod_link_info);
        });
}]);

spooky.on('data.ready', function (prod_link_info) {
    //insert values in mongodb
    for (var i = 0; i < prod_link_info.length; i++) {
        product_model.create(
            {
                prod_link_info:prod_link_info[i],
            }, function(err, product){
                if(err) console.log(err);
                else console.log(product);
            });
    }
});

09-16 21:07