因为最近看本地新闻时,老是这个新闻网看到那个新闻网,感受实在是麻烦,兴起想本身写个小爬虫来爬取一些新闻组合成本身的一个新闻列表。选取 Node 来实现。源码:news-crawler 效果:news.imondo.cn
javascript
爬取网页涉及到几个使用的插件库:css
程序实现的一个简单的流程html
getList(url) { return new Promise(resolve => { request.get({url, encoding : null}, function(err, res, body) { if (err) { console.log(err); } let html = iconv.decode(body, 'gbk'); let $ = cheerio.load(html, {decodeEntities: false}); resolve($); }); }) }
async get163List(ctx) { const newsList = []; const url = 'https://hunan.news.163.com/'; const $ = await this.getList(url); // 热门新闻 $('.news-feature').each(function(index, elem) { let $elem = $(elem); $elem.find('a').each(function(index, e) { const $e = $(e); const title = $e.text(); const href = $e.attr('href'); const hot = $e.parents('h5').length > 0; newsList.push({ title, href, hot, tag: '网易新闻' }); }) }); return newsList; }
经过 node 的 fs 模块来写入咱们获取获得的新闻关键信息,我选择已天天日期来命名写入的文件
java
fs.writeFile( path.resolve(__dirname, `../database/${dir}.json`), JSON.stringify({ data }), function (err) { console.log(err); if (err) throw err; console.log('写入完成'); });
程序使用 ejs 来渲染,因为程序主要是使用 koa 来搭建,因此须要用到 koa-static
,koa-views
中间件。
先读取 json 数据文件node
fs.readFile(path.join( __dirname, `../database/${date}.json`), (err, data) => { if (err) { reject(null); } else { resolve(JSON.parse(data.toString()).data); } })
经过读取的数据渲染git
const static = require('koa-static'); const views = require('koa-views'); // 静态文件 app.use(static( path.join( __dirname, './static') )); // 加载模板引擎 app.use(views( path.join(__dirname, './views'), { extension: 'ejs' } )); app.use(async ctx => { let list = await crawler.getNews(); await ctx.render('index', { list, time: utils.getNowDate() }) });
这时小爬虫其实已经写完了,可是因为新闻是有时效性的,咱们须要作个定时任务,来时时爬取新闻
github
node-schedule 的基本用法可参考文档,程序采用的是每隔 4 小时爬取一次
json
const schedule = require('node-schedule'); const config = require('./../config'); const rule = new schedule.RecurrenceRule(); rule.hour = config.timeJob; rule.minute = 0; /* 定时任务 */ function timeJob (cb) { schedule.scheduleJob(rule, function () { console.log('定时任务执行一次'); cb && cb(); }); }
程序采用的是 github action 自动部署到本身的服务器。部署私服,首先须要解决登陆服务器校验的问题,要么输入密码,要么使用 ssh 密钥登陆,这里程序使用的是第二种ubuntu
$ mkdir -p ~/.ssh && cd ~/.ssh $ ssh-keygen -t rsa -f mysite Generating public/private rsa key pair. Enter passphrase (empty for no passphrase): Enter same passphrase again:
一路回车,会在 ~/.ssh
下生成两个文件:mysite
(私钥)和mysite.pub
(公钥)。其中私钥是你的我的登陆凭证,不要分享给他人。公钥则须要放到登陆的目标服务器上。服务器
mysite.pub
的内容贴到目标服务器的 ~/.ssh/authorized_keys
中~/.ssh
文件夹的权限低于 711,我这里直接用 600(仅本用户可读写)chmod 600 -R ~/.ssh
找到 GitHub 上仓库设置,新增 Secrets 设置,添加 SSH_PRIVATE_KEY
配置,这个就是复制咱们在上一步中mysite
中的私钥内容,能够参考图中添加须要的私密信息
GitHub actions 主要是自动读取仓库下 .github/workflows
文件夹下的 yml 配置。具体的一些配置含义已写在配置文件中
name: Mondo News action # 名称 on: push: branches: - master # 只在 master 上 push 操做触发部署 paths-ignore: # 下列文件的变动不触发部署,能够自行添加 - README.md jobs: build-and-deploy: runs-on: ubuntu-latest # 使用 ubuntu 系统镜像运行自动化脚本 steps: # 自动化步骤 - name: Checkout # 步骤名称 uses: actions/checkout@master # 使用别人包装好的步骤镜像 - name: Deploy file to Server uses: wlixcc/SFTP-Deploy-Action@v1.0 with: username: ${{ secrets.USERNAME }} # 引用配置,用户名称 server: ${{ secrets.SERVER_IP }} # 引用配置,服务器 IP ssh_private_key: ${{ secrets.SSH_PRIVATE_KEY }} # 引用配置,SSH 私钥 local_path: './*' remote_path: '/front/news' - name: Server Start uses: appleboy/ssh-action@master with: host: ${{ secrets.SERVER_IP }} username: ${{ secrets.USERNAME }} key: ${{ secrets.SSH_PRIVATE_KEY }} port: ${{ secrets.PORT }} script: sh /front/news/deploy.sh # 执行脚本命令
能够看到 GitHub actions 最大的好处的是利用第三方已经写好的镜像来作部署,咱们只须要写下配置就能够运行,有很大的扩展性。
把配置文件提交至远程仓库,能够在仓库 Actions 项中看到启动状态
此次使用代码来小试牛刀解决本身生活中的一些问题,也尝试了 GitHub actions 简化了一些重复性的部署操做。
欢迎关注公众号,你们一块儿共同交流和进步。