我使用在https://www.npmjs.com/package/crawler-ninja中找到的Crawler Ninja插件与插件过期的域结合使用。
https://github.com/christophebe/expired-domains.ninja

但是,在我的第一次“尝试”中,它返回了一些模糊的错误。
我相信是第一个错字,我改了

console.log(ed.expireds.keys())




console.log(end.expireds.keys())


错误是:

console.log(ed.expireds.keys())
                ^
ReferenceError: ed is not defined


现在我面临一个新的错误:

[root@vps-121706-2576 node_modules]# node ttt.js
Use log in : /root/plg/node_modules/logs/crawler.log
Well done Sir !, done in : 170389

/root/plg/node_modules/ttt.js:22
    console.log(end.expireds.keys())
                             ^
TypeError: Cannot call method 'keys' of undefined


题 :

不了解错误以及如何解决。
如果需要更多信息或详细信息,请发表评论。

代码插件:

var crawler     = require("crawler-ninja");
var ep          = require("crawler-ninja-expired");

crawl();

function crawl(){
var c = new crawler.Crawler({
    externalDomains : true,
    images : false,
    scripts : false,
    links : false, //link tags used for css, canonical, ...
    followRedirect : true
});

var expired = new ep.Plugin(c);

c.on("end", function() {

    var end = new Date();
    console.log("Well done Sir !, done in : " + (end - start));
    // the attributes expireds is a map with a key that match to the expired domains
    console.log(end.expireds.keys())



});

var start = new Date();
c.queue({url : "http://www.erijane.nl/"});
}

最佳答案

endDate对象,没有expireds属性。

也许您只需要定义如下的expired对象:

var expired = new ep.Plugin(c);


或者您可能需要ep对象而不是edend

说实话,我不知道图书馆,只是猜测。

09-26 13:50