基于nodeJS的小说爬虫实战

背景与需求分析

最近迷恋于王者荣耀、斗鱼直播与B站吃播视频，中毒太深，下班之后无心看书。

为了摆脱现状，能习惯看书，我开始看小说了，然而小说网站广告多而烦，屌丝心态不愿充钱，于是想到了爬虫。

功能分析

为了将网上小说内容获取到本地，进行了功能分析：

1、获取每个章节列表地址
2、更加每个章节地址，获取每个章节的内容
3、将获取的各个章节内容有序的写入文件

技术调研

作为一个前端er，实现爬虫nodeJS必须是首选，虽然数据挖掘Python才是真理

npm依赖如下

1、爬取内容 superagent
2、分析爬取的内容 cheerio
3、并发 async
4、文件写入 fs

编码实现

xiaoshuo.js代码如下

const cheerio = require('cheerio')

const superagent = require('superagent')

require('superagent-charset')(superagent)

const async = require('async');

const fs = require('fs');

let baseUrl = 'http://www.xxx.com/book/14435/';

let infos = [];

let urls = [];

let titles = [];

let fileName = '';

superagent.get(baseUrl).charset('UTF-8').end((err,res)=>{

    var $ = cheerio.load(res.text);

    // 读取章节列表页面

    $('.am-book-list').eq(1).find('.am-u-lg-4 a').each((i, v) => {

        let link = 'http://www.xxx.com' + $(v).attr('href')

        urls.push(link);

        fileName = $('.am-book-info h2').text()+'.txt';

    })

    let id = 0;

    //获取每个章节列表

    async.mapLimit(urls,urls.length,(url,callback)=>{

        id++

        fetchUrl(url,callback,id);

    },(err,results)=>{

        //将文件写入本地

        fs.existsSync(fileName);

        for(var i = 0;i<results.length-1;i++){

            fs.appendFileSync(fileName, results[i].title) //

            fs.appendFileSync(fileName, results[i].content)

        }

    })

})

function fetchUrl(url,callback,id){

    superagent.get(url)

        .charset('UTF-8')

        .end(function(err,res){

            let $ = cheerio.load(res.text);

            let arr = []

            let content = reconvert($("#am-read-centent").text())

            const obj = {

                id: id,

                err: 0,

                title: '\n'+$('#am-book-h3').text(), //标题

                content: '\n'+trim(content.toString()) //内容

            }

            callback(null,obj)

        })

}

function reconvert(str) {

  str = str.replace(/(&#x)(\w{1,4});/gi, function ($0) {

    return String.fromCharCode(parseInt(escape($0).replace(/(%26%23x)(\w{1,4})(%3B)/g, "$2"), 16));

  });

  return str

}

function trim(str){

  return str.replace(/(^\s*)|(\s*$)/g, '').replace(/&nbsp;/g, '')

}

为了避免坐牢，站点使用xxx代替，

运行效果

在命令行运行 node xiaoshuo，试验了本小说，好像还是ok的，哈哈哈