node.js - 在Node.js中处理100MB文件

基本上，我有一个文件，例如100mb.qs，我需要通过以下函数传递其全部内容：

function process(in){
  var out = JSON.stringify(require('querystring').parse(in));
  return out;
}

然后用结果替换文件的内容。

我想我必须将其流式传输，所以...

require('fs').createReadStream('1mb.qs').pipe( /* ??? */ )

我该怎么办？

最佳答案

您应该看一下clarinet将JSON解析为流。

var createReadStream = require('fs').createReadStream
, createWriteStream = require('fs').createReadStream
, parseJson = require('clarinet').createStream()
;

parseJson.on('error', function(err){
  if (err) throw err
})

parseJson.on('onvalue', function(v){
  // do stuff with value
})

parseJson.on('onopenobject', function (key) {
  // I bet you got the idea how this works :)
})

createReadStream('100mb.qs')
  .pipe(parseJson)
  .pipe(createWriteStream('newerFile.qs'))

还有更多事件要听，所以您肯定要看看。
此外，只要准备好写入JSON节点，它就会向下游发送数据。那就再好不过了。

希望这可以帮助