NodeJS爬虫

这是一个NodeJS爬虫项目，用于爬取爱去小说网的小说资源，很是适合新手学习NodeJS，感觉NodeJS的魅力mysql

经测试，爬取并合并1645章的斗破苍穹耗时约6mingit

项目使用的模快主要有：github

• async正则表达式

• cheeriosql

• superagent异步

• superagent-charsetasync

• mysqlide

• bluebird学习

• cron测试

async

异步流程控制模快，用于优化下载速度

cheerio

服务端的jQuery，替代繁琐的正则表达式，大大提升了开发效率

superagent

轻量级的http请求模快，高效灵活

superagent-charset

对superagent抓取页面进行转码，NodeJS平台gbk转utf8神器

mysql

NodeJS的MySQL驱动模快，我用它实现了一个很是简易的ORM

bluebird

API Promise化，便于使用async/await进行流程控制

cron

任务调度模快

项目地址见Github