jenkins+python持续集成

时间  2020-01-14 标签 jenkins+python jenkins python 持续 集成

1.安装

搜索jenkins,进入官网，5分钟之内相信你能找到适合你操做系统的安装步骤。此处为省事，列出centos步骤(注意安装稳定版)java

sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo
sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
sudo yum install jenkins
若是你系统里没有Java，那么sudo yum install java
启停service jenkins start/stop/restart
或者systemctl start/stop/restart jenkins

不要问service start xxx和systemctl（centos7引入）啥关系，后者是用来替代前者的。具体问百度。启动后，验证安装是否成功，浏览器访问http://localhost:8080/，看到老爷爷(jenkins logo)就行。python

要是遇到奇葩问题，看这里 https://wiki.jenkins-ci.org/display/JENKINS/Installing+Jenkins+on+Red+Hat+distributionsgit

2.配置

  • 配置前安装必要插件：web

    Git Plugin：使用Git做为源代码管理shell

    Python Plugin：Adds the ability to execute python scripts as build steps.django

    Violations：代码质量检测，支持pylint、jslint等centos

  • 配置job浏览器

    1.新建-->job-->自由风格bash

    2.填写git 地址，触发器选择Poll SCM, Schedule可选服务器

    3.填写脚本：第二行#!/usr/bin/bash/...是给jenkins看的，让jenkins不要输出每条命令

     #!/usr/bin/bash
 #!/usr/bin/bash/...
 source /home/luodaihong/py27/bin/activate
 cd /home/luodaihong/workspace/django-privilege/example
 coverage run  --source=privilege  manage.py test privilege
 coverage report -m --skip-covered
 pylint --output-format=parseable privilege > pylint.xml || exit 0

    coverage pylint本身安装咯

    4.增长构建后操做步骤-->Report Violations--> pylint后填写pylint.xml --->Faux Project Path填写实际工程路径，也就是脚本中cd的路径

3.简单使用

建好工程后，构建一次玩玩呗，点击构建详情，等待构建完毕，看到代码风格统计图， Console Output里看到单元测试经过状况，代码覆盖状况。遇到问题：

  • 初始安装后基本都能运行jenkin并看到jenkins web页面，不然重装。修修改改后进程起不来，多看看权限问题，特别是修改jenkins_user

  • 配置的job怎么都不按预期执行，先手动命令行执行，确认无误后查看jenkins环境变量



安装

见Installing Jenkins。它也支持经过Docker安装，真的是紧跟潮流！

须要提的一点是Jenkins比较耗内存，不运行任何构建任务的状况下就吃掉了300多M，再加上构建任务时会占用更多，因此建议服务器的内存至少有1G，512M的话极可能在执行构建任务的时候内存不够用。

访问控制

安装后默认全部人均可以访问，故须要更改访问控制策略，具体见Standard Security Setup。

插件清单

下面是我用到的一些插件：

  • Git Plugin：使用Git做为源代码管理

  • SSH plugin：远程ssh登陆server执行命令

  • Parameterized Trigger Plugin：触发其余的job

  • Cobertura Plugin：代码测试覆盖率报告

  • Task Scanner Plugin：检测代码中出现的特殊标记（如TODO等）

  • Violations：代码质量检测，支持pylint、jslint等

  • ThinBackup：用于备份Jenkins

  • SCM Sync configuration plugin：将Jenkens的配置变动同步到SCM中

这里只是集中地列举一下，具体的使用会在下面穿插介绍。

测试、Staging部署、Production部署流程

根据本项目的须要，在Jenkins中创建了3个任务：

  • tm_test：用于执行测试、代码质量检测等

  • tm_staging_deploy：用于在staging服务器上deploy代码

  • tm_deploy：用于在production服务器上deploy代码

Image Title

其中staging服务器用于进行线上测试，staging服务器和production服务器的环境必须保持彻底相同（固然，staging服务器配置能够低一些）。

具体的开发、测试、部署流程是：

  • 在开发新功能/修复bug的时候，通常是开新分支；但若是是那种很小的修改，则直接在master上改，这样比较省事儿

  • 新功能开发完成/bug修复后，进行单元测试+人工测试，若是经过，合并到master

  • 每次master有变更后，触发tm_test任务，执行集成的单元测试和代码质量检测，若是OK，则自动触发tm_staging_deploy，部署到staging服务器上

  • 若tm_staging_deploy成功，则登录到运行在staging服务器的测试网站上，人工测试新功能是否OK/bug是否已修复；若tm_staging_deploy失败，检查失败缘由，进行修复，直至成功

  • 若staging人工测试经过，则手动触发tm_deploy，部署到生产服务器上

  • 登陆到生产服务器上进行人工测试，若出现问题，进行修复；同时密切关注Sentry发送的告警邮件，争取在第一时间修复错误

比较简单，没有采用Git-Flow/GitHub-Flow，单元测试写得很浅，也没有作代码审查。不过团队规模小，从目前来看，上面的流程是够用的。

下面对这三个任务作较为详细的介绍。

tm_test

该任务用于执行测试、代码质量检测等。

push触发构建

每当项目仓库的master分支有变更时，即会触发tm_test。要作这一点，须要以下步骤：

  • 设置tm_test的Build Triggers为Poll SCM，但不填Schedule

  • 为项目仓库添加Web Hook，URL填写http://<Jenkins URL>/git/notifyCommit?url=<URL of the Git repository>

参考Stack Overflow。

使用virtualenv配置测试环境

执行测试以前，须要肯定Python版本（通常是2.7），而后根据此版本初始化virtualenv。

在构建中添加Execute shell项：

if [ ! -d "venv" ]; then    virtualenv -p /usr/bin/python2.7 venvfi

. venv/bin/activate
pip install -i http://pypi.douban.com/simple -r requirements.txt

测试与报告

测试中须要2个库：nose用于执行单元测试，coverage用于统计测试覆盖率。

须要在Jenkins中安装Cobertura Plugin插件，用于生成代码测试覆盖率报告。

而后在构建中添加Execute shell项，输入：

nosetests --with-xunit --with-coverage --cover-package=tm && coverage xml

其中--with-xunit告诉nose输出JUnit形式的测试报告，--with-coverage表示同时运行coverage（这个功能至关赞），--cover-package=tm表示仅对指定的package执行测试覆盖率检测，后面的coverage xml表示输出xml格式的coverage报告。

而后在构建后操做中，添加以下2项：

  • Publish JUnit test result report：填写nosetests.xml

  • Publish Cobertura Coverage Report：填写coverage.xml

这样一来，就能够执行测试，并获得测试报告和测试覆盖率报告啦：

Image Title

上面的图表都是可点击的，点进去后有代码级的详细报告，很是赞：

Image Title

绿色的代码行表示已经覆盖到，红色则没有。

代码质量检测

Jenkins有一个蛮不错的代码质量报告插件：Violations，支持很是多的代码测试工具。目前项目中使用Pylint作Python代码质量检测，使用JSHint作JavaScript代码质量检测。

在安装好Pylint后，运行pylint --generate-rcfile > pylintrc生成配置文件，并将其中的output-format项的值改成parseable。

而后在构建中添加2项Execute shell项，

pylint：

pylint tm2 > pylint.xml || exit 0

jshint：

jshint --reporter=jslint $WORKSPACE/tm2/static/js/ > jslint.xml || exit 0

其中的exit 0是为了告诉Jenkins该命令执行成功。对于jshint来讲，report选择jslint，而后须要使用$WORKSPACE组成绝对路径，不然没法看到源码级的分析报告（是否是一个bug？）。

而后在构建后步骤中添加Violations Report，在对应位置输入jslint.xml和pylint.xml。

最终的图形报告以下，能够看到趋势走向：

Image Title

源码级别的分析也有：

Image Title

检测代码中的特殊标注（如TODO）

团队中约定，在代码未完成的地方使用TODO进行标记，由于PyCharm有一个很好的功能就是能够检测出代码中的全部TODO信息：

Image Title

Jenkins中也有一个很是棒的插件Task Scanner Plugin用于检测代码中出现的特殊标记，固然，这些特殊标记彻底是能够自定义的。

安装完该插件后，在构建后操做中添加一项Scan workspace for open tasks，根据须要填写配置：

Image Title

而后报告就能够出来啦：

Image Title

邮件告警

若是构建后状态是unstable或failed，则能够发送邮件告警，及时通知相关负责人进行处理。Jenkins自带SMTP功能，不过须要你提供SMTP服务器。

我使用的是qq邮箱SMTP服务器，挺好用的，目前没有发现拒发的状况。有一点须要注意的是，在配置好SMTP的帐户信息后，还需填写系统管理员邮件地址，不然会发送失败，这也是比较容易忽略的地方。

配置好SMTP后，而后在构建后操做中添加E-mail Notification项，填写负责人的邮箱便可。

触发下游任务

若是tm_test构建成功，则须要自动触发tm_staging_deploy任务，这个触发过程是经过插件Parameterized Trigger Plugin来完成的。

在构建后操做中添加Trigger parameterized build on other projects项，选择触发条件为stable，而后填写待出发的任务名称便可。

最后的tm_test任务面板以下：

Image Title

界面是挺out的，不过很实用。

tm_staging_deploy

这一个job用于将最新代码部署到staging服务器上，我采用的部署方法是经过ssh远程登录服务器执行命令的方式，须要一个插件SSH plugin。

而后在构建中添加Shell项：

cd /var/www/tmexport MODE=PRODUCTION
git reset --hard HEAD
git pull -fsource venv/bin/activate
pip install -r requirements.txt
python manage.py db upgrade
supervisorctl restart tm

tm_deploy

此任务和tm_staging_deploy基本差很少，不一样的地方有2个：（1）目标服务器不一样（2）触发方式是手动触发

备份

使用thinBackup进行备份，可设定备份周期。

配置变动同步

除此以外，我还用到了一个颇有用的插件SCM Sync configuration plugin，就是把Jenkins的配置（全局配置+各job配置）同步到一个Git仓库中。这样的话，每次配置有变更，都会造成一个commit推送到Git仓库。

这至关于把配置的历史变迁都记录下来，若是哪天Jenkins任务挂了，能够看看配置变动进行排错。

联系我们 沪ICP备2021010478号-7