我使用在https://www.npmjs.com/package/crawler-ninja中找到的Crawler Ninja插件与插件过期的域结合使用。
https://github.com/christophebe/expired-domains.ninja
但是,在我的第一次“尝试”中,它返回了一些模糊的错误。
我相信是第一个错字,我改了
console.log(ed.expireds.keys())
至
console.log(end.expireds.keys())
错误是:
console.log(ed.expireds.keys())
^
ReferenceError: ed is not defined
现在我面临一个新的错误:
[root@vps-121706-2576 node_modules]# node ttt.js
Use log in : /root/plg/node_modules/logs/crawler.log
Well done Sir !, done in : 170389
/root/plg/node_modules/ttt.js:22
console.log(end.expireds.keys())
^
TypeError: Cannot call method 'keys' of undefined
题 :
不了解错误以及如何解决。
如果需要更多信息或详细信息,请发表评论。
代码插件:
var crawler = require("crawler-ninja");
var ep = require("crawler-ninja-expired");
crawl();
function crawl(){
var c = new crawler.Crawler({
externalDomains : true,
images : false,
scripts : false,
links : false, //link tags used for css, canonical, ...
followRedirect : true
});
var expired = new ep.Plugin(c);
c.on("end", function() {
var end = new Date();
console.log("Well done Sir !, done in : " + (end - start));
// the attributes expireds is a map with a key that match to the expired domains
console.log(end.expireds.keys())
});
var start = new Date();
c.queue({url : "http://www.erijane.nl/"});
}
最佳答案
end
是Date
对象,没有expireds
属性。
也许您只需要定义如下的expired
对象:
var expired = new ep.Plugin(c);
或者您可能需要
ep
对象而不是ed
或end
。说实话,我不知道图书馆,只是猜测。