我有一个RSS到MongoDB的阅读器/刮板，它的运行数据集大于系统的内存。当我遍历数据时，系统速度变慢。我有理由确定这是我内存不足的原因。
我添加了一些调试信息并进行了一些更改，但是我不知道如何读取调试输出中给出的信息。
这是一个调试输出示例(从致命之前开始):
100 items
Memory: { rss: 11104256, // what is RSS?
vsize: 57507840, // what is VSIZE?
heapTotal: 4732352, // heapTotal?
heapUsed: 3407624 } // heapUsed?
200 items
Memory: { rss: 12533760,
vsize: 57880576,
heapTotal: 6136320,
heapUsed: 3541984 }
// what key numbers do I watch for?
// when do I reach 'situation critical'?
// how do I free up memory to prevent problems?
另外，如果有帮助并且为了更好地说明，我还提供了代码示例。我已经进行的一项更改是将所有require语句移至GrabRss函数之外。
var http = require('http');
var sys = require('sys');
var xml2js = require('xml2js');
var util = require('util');
var Db = require('../lib/mongodb').Db,
Conn = require('../lib/mongodb').Connection,
Server = require('../lib/mongodb').Server,
// BSON = require('../lib/mongodb').BSONPure;
BSON = require('../lib/mongodb').BSONNative;
GrabRss = function(grab, start) {
var options = {
host: 'www.example.com',
port: 80,
path: '/rss/'+grab+'/'+start
};
var data;
var items;
var checked = 0;
var len = 0;
GotResponse = function(res) {
var ResponseBody = "";
res.on('data', DoChunk);
res.on('end', EndResponse);
function DoChunk(chunk){
ResponseBody += chunk;
}
function EndResponse() {
//console.log(ResponseBody);
var parser = new xml2js.Parser();
parser.addListener('end', GotRSSObject);
parser.parseString(ResponseBody);
}
}
GotError = function(e) {
console.log("Got error: " + e.message);
}
GotRSSObject = function(r){
items = r.item;
//console.log(sys.inspect(r));
var db = new Db('rss', new Server('localhost', 27017, {}), {native_parser:false});
db.open(function(err, db){
db.collection('items', function(err, col) {
len = items.length;
if (len === 0) {
process.exit(0);
}
for (i in items) {
SaveItem(item[i], col);
}
});
});
}
SaveMovie = function(i, c) {
c.update({'id': i.id}, {$set: i}, {upsert: true, safe: true}, function(err){
if (err) console.warn(err.message);
if (++checked >= len) {
if (checked < 5000) {
delete data; // added since asking
delete items; // added since asking
console.log(start+checked);
console.log('Memory: '+util.inspect(process.memoryUsage()));
GrabRss(50, start+checked);
} else {
console.log(len);
process.exit(0);
}
} else if (checked % 10 == 0) {
console.log(start+checked);
}
});
}
http.get(options, GotResponse).on('error', GotError);
}
GrabRss(50, 0);
最佳答案
阅读完这段代码后，我确实看到GotRSSObject中的items被声明为全局的，因为没有var作为其前缀。
除此之外，我看不到其他明显的内存泄漏。一项很好的基本技术是添加一些更多的print语句，以查看分配内存的位置，然后通过断言变量== null来检查希望清除内存的位置。
node.js和v8的内存问题是，不能保证在任何时间和afaik都会对其进行垃圾回收，因此您无法强制进行垃圾回收。您将需要限制要使用的数据量以轻松放入内存，并提供一些错误处理(也许使用setTimeout或process.nextTick)，以等待清除内存。
nextTick的忠告-这是一个非常非常快速的电话。众所周知，Node.js在事件循环上是单线程的。使用nextTick实际上会在下一个循环上执行该函数-确保您不经常调用它，否则您会发现自己在浪费周期。
关于rss，vsize，heapTotal，heapUsed ... vsize是您的进程正在使用的整个内存大小，而rss则是实际物理RAM中有多少内存，而不是交换内存。 heaptotal和heapUsed指的是您无法控制的v8基础存储。您将主要关注vsize，但是您也可以通过OS X上的top或Activity Monitor获得更详细的信息(任何人都知道* nix系统上好的过程可视化工具吗？)。