（转）Jenkins持续集成

【课程14】持续集...概念.xmind0.6MBhtml

【课程14】持续集成...kins.xmind43.3KBjava

【课程14预习】持续...kins.xmind0.4MBmysql

 

程序员开发应用，开发后须要提交svn，而后从svn拉取代码，进行构建，发布到tomcat中，发布，而后看呈现效果，这样的工做是频繁反复的在进行的，浪费了程序员的大量时间，那么能不能把这些工做自动化呢，只须要程序员更新代码到svn，而后自动的构建，发布，呈现效果，固然是能够的，经过jenkins来实现。react

互联网软件的开发和发布，已经造成了一套标准流程，最重要的组成部分就是持续集成（Continuous integration，简称CI）。linux

持续集成指的是，频繁地（一天屡次）将代码集成到主干。git

它的好处主要有两个。程序员

（1）快速发现错误。每完成一点更新，就集成到主干，能够快速发现错误，定位错误也比较容易。web

（2）防止分支大幅偏离主干。若是不是常常集成，主干又在不断更新，会致使之后集成的难度变大，甚至难以集成。spring

持续集成的目的，就是让产品能够快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干以前，必须经过自动化测试。只要有一个测试用例失败，就不能集成。sql

 

这种作法的核心思想在于：既然事实上难以作到事先彻底了解完整的、正确的需求，那么就干脆一小块一小块的作，而且加快交付的速度和频率，使得交付物尽早在下个环节获得验证。早发现问题早返工。

 

持续集成

持续集成强调开发人员提交了新代码以后，马上进行构建、（单元）测试。根据测试结果，咱们能够肯定新代码和原有代码可否正确地集成在一块儿。

持续交付

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。好比，咱们完成单元测试后，能够把代码部署到链接数据库的 Staging 环境中更多的测试。若是代码没有问题，能够继续手动部署到生产环境中。

持续部署

持续部署则是在持续交付的基础上，把部署到生产环境的过程自动化。

 

持续，就是说每完成一个完整的部分，就向下个环节交付，发现问题能够立刻调整。是的问题不会放大到其余部分和后面的环节。

集成，是指软件我的研发的部分向软件总体部分交付，以便尽早发现我的开发部分的问题；

部署，是代码尽快向可运行的开发/测试节交付，以便尽早测试；

交付，是指研发尽快向客户交付，以便尽早发现生产环境中存在的问题。

 

1）核心价值体如今：

a、持续集成中的任何一个环节都是自动完成的，无需太多的人工干预，有利于减小重复过程以节省时间、费用和工做量；

b、持续集成保障了每一个时间点上团队成员提交的代码是能成功集成的。换言之，任什么时候间点都能第一时间发现软件的集成问题，使任意时间发布可部署的软件成为了可能；

c、持续集成还能利于软件自己的发展趋势，这点在需求不明确或是频繁性变动的情景中尤为重要，持续集成的质量能帮助团队进行有效决策，同时创建团队对开发产品的信心。

 

2）持续集成系统的组成

因而可知，一个完整的构建系统必须包括：

A、一个自动构建过程，包括自动编译、分发、部署和测试等。

B、 一个代码存储库，即须要版本控制软件来保障代码的可维护性，同时做为构建过程的素材库。

C、一个持续集成服务器。本文中介绍的 Jenkins/Jenkins 就是一个配置简单和使用方便的持续集成服务器。

Jenkins是一个开源的持续集成的服务器，Jenkins开源帮助咱们自动构建各种项目。Jenkins强大的插件式，使得Jenkins能够集成不少软件，可能帮助咱们持续集成咱们的工程项目。

 

Jenkins对于maven工程完整的编译和发布流程以下：

一、Jenkins从SVN上拉取代码到指定的编译机器上。

二、在编译机器上触发编译命令或脚本。

三、编译获得的结果文件。

四、把结果文件传到指定的服务器上。

五、重启服务

一、本地下载jdk8.tar.gz包，而后经过xshell和xftp工具上传到/opt【可自定义】目录。

二、使用tar -zxvf jdk8.tar.gz 解压文件。

三、打开/etc/profile文件中配置java环境

export JAVA_HOME=/opt/jdk1.8.0_161

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

使用命令source /etc/profile 让环境从新加载，输入java -version坚持是否配置成功

一、查看地址

https://maven.apache.org/download.cgi

二、复制要下载的连接地址，使用linux的wget命令下载。切换到/opt目录，直接下载：

wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.3/binaries/apache-maven-3.5.3-bin.tar.gz

三、使用tar -zxvf apache-maven-3.5.3-bin.tar.gz 解压文件获得apache-maven-3.5.3

四、/etc/profile配置环境，并使用命令source /etc/profile 让环境从新加载

export MAVEN_HOME=/opt/apache-maven-3.5.3

export PATH=${MAVEN_HOME}/bin:$PATH

五、检验是否配置成功。

maven的配置setting.xml最好修改镜像源：

<mirror> 

   <id>alimaven</id> 

   <name>aliyun maven</name> 

   <url>http://maven.aliyun.com/nexus/content/groups/public/</url> 

   <mirrorOf>central</mirrorOf> 

 </mirror> 

按照如下命名安装：

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker

wget https://www.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gz

tar xzf git-1.8.3.1.tar.gz

cd git-1.8.3.1

make prefix=/usr/local/git all

make prefix=/usr/local/git install

echo "export PATH=$PATH:/usr/local/git/bin" >>/etc/bashrc

source /etc/bashrc

git --version

• http://www.runoob.com/mysql/mysql-install.html

查看默认密码：

grep 'temporary password' /var/log/mysqld.log

修改密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'admin';

直接下载war包，windows和linux环境通用。linux能够经过wget命令直接下载到指定目录。windows直接把连接复制到浏览器连接栏便可下载。

wget http://mirrors.shu.edu.cn/jenkins/war-stable/2.121.1/jenkins.war

下载完了以后能够在当前目录看到jenkins.war包，表示已经下载完成。

jenkins.war包能够有两种运行方式：

• 第一种是把war包放到tomcat的webapps目录下运行；

• 第二种是直接经过java -jar来启动项目，由于jenkins.war包里面已经内置了jetty服务器，能够直接启动，经过--httpPort来指定启动端口，添加&表示以服务形式启动。

java -jar jenkins.war --httpPort=8081 &

打开连接地址http://你的ip:8081,

获取秘钥：

cat /root/.jenkins/secrets/initialAdminPassword

新手最好直接选择安装推荐的插件就能够，熟悉之后下次就能够自定义插件安装便可。

正在下载推荐的额插件

插件安装完毕，跳转到建立管理员。填入用户名密码。

jenkins安装成功。

本次课程主要讲发布maven项目到tomcat中。因此还须要安装如下两个插件：

打开管理插件页面：

• 一个构建maven项目插件

• 一个发布到tomcat的插件

 

选择，直接安装！

系统管理--》全局工具配置，须要把服务器的jdk、maven、git等环境配置好。

 

• 新建一个maven项目。

 

• 配置git或者svn地址，jenkins会自动从远程仓库拉去最新代码。

若是是私有项目的话，须要加入用户名密码

• 开始maven打包构建的命令，能够去掉test测试

clean install -Dmaven.test.skip=true -Ptest

 

• 通过上一个步骤以后，jenkins会在默认路径/root/.jenkins/workspace/上看到打包的项目，/root/.jenkins/workspace/homework/target目录下有打包的jar文件。spring-boot-homework-0.0.1-SNAPSHOT.jar。所以咱们打包完成以后的工做就是要替换原来的jar文件，而后重启项目。

这里咱们使用shell脚原本完成。

1. DIR表示存放jar文件、和启动项目的文件夹。JAEFILE是指jar包的名称。

1. 接下来的工做其实就是杀掉原来的spring-boot-homework-0.0.1-SNAPSHOT.jar进程

1. 备份原来的jar包

1. 把新生成的jar覆盖原来的

1. 而后java -jar启动项目

 

• BUILD_ID=dontKillMe表示jenkins不杀掉衍生的线程

• nohup表示不用提示

shell脚本以下：

echo '开始启动项目~~~~~~~~~'

DATE=$(date +%Y%m%d_%H%M)

export JAVA_HOME PATH CLASSPATH

JAVA_HOME=/opt/jdk1.8.0_181

PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

DIR=/opt/jar

JARFILE=spring-boot-homework-0.0.1-SNAPSHOT.jar

if [ ! -d $DIR/backup ];then

   mkdir -p $DIR/backup

fi

cd $DIR

ps -ef | grep $JARFILE | grep -v grep | awk '{print $2}' | xargs kill -9

mv $JARFILE backup/$JARFILE$DATE

mv -f /root/.jenkins/workspace/homework/target/$JARFILE .

BUILD_ID=dontKillMe nohup java -jar $JARFILE > out.log &

if [ $? = 0 ];then

        sleep 30

        tail -n 50 out.log

fi

cd backup/

ls -lt|awk 'NR>5{print $NF}'|xargs rm -rf

echo '结束启动项目~~~~'

致此，项目就会自动部署，只须要点击构建按钮，jenkins就会自动拉去最新代码，而后备份、重启项目。

 

回顾一下流程：

• 首先建立maven项目

• 配置项目的git仓库地址

• 配置maven构建命令（打包命令）

• 打包文成以后执行shell实现切换jar，从新部署项目。

上面的过程是当jenkins与应用服务器同一台的时候才能直接复制过去，当服务器不一样的时候就不能这样作了，能够经过ssh或者scp来传输jar包过去，而后再执行shell脚本。

• 配置ssh免密登陆

为了方便演示，我这里用的仍是同一台机器，不过再也不使用复制的方式，而是经过ssh吧文件传输给本身。

在配置以前，输入ssh 127.0.0.1，会提示要输入密码。

 

ssh的配置可以使用密钥，也可使用密码，这里咱们使用密钥来配置，在配置以前先配置好jenkins服务器和应用服务器的密钥认证。

jenkins服务器上生成密钥对，使用ssh-keygen -t rsa命令。输入下面命令 一直回车，一个矩形图形出现就说明成功，在~/.ssh/下会有私钥id_rsa和公钥id_rsa.pub

ssh-keygen -t rsa

 

而后把生成的公钥推进到应用服务器上，加入47.106.38.101是应用服务器的ip，由于这里用的jenkins和应用服务器同一台，因此ip是同样的。

ssh-copy-id -i ~/.ssh/id_rsa.pub 47.106.38.101

第一次须要验证密码，输入应用服务器的登陆免密。出现如下提示，说明成功了。

在应用服务器上重启ssh服务，

service sshd restart

这时候再次ssh 47.106.38.101或者ssh 127.0.0.1就会直接登陆成功，再也不须要免密。

致此，免密登陆配置完成~

 

接下来的工做就是上次jar文件到应用服务器，而后执行shell实现重启应用。

 

这里使用一种比较简单的方法，直接替换以前的命令行就行。

命令行的意思是经过scp命令把jar上次到远程服务器的指定目录，而后经过ssh免密登陆指定远程的脚本。

cd target/

scp spring-boot-homework-0.0.1-SNAPSHOT.jar 127.0.0.1:/opt/jar/target/

ssh 127.0.0.1 "cd /opt/jar; ./republish.sh;"

 

远程脚本以下：和以前的差很少，改了一下jar的目录而已。

DATE=$(date +%Y%m%d_%H:%M:%S)

export JAVA_HOME PATH CLASSPATH

JAVA_HOME=/opt/jdk1.8.0_181

PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

DIR=/opt/jar

JARFILE=spring-boot-homework-0.0.1-SNAPSHOT.jar

if [ ! -d $DIR/backup ];then

   mkdir -p $DIR/backup

fi

cd $DIR

ps -ef | grep $JARFILE | grep -v grep | awk '{print $2}' | xargs kill -9

mv $JARFILE backup/$JARFILE$DATE

mv -f /opt/jar/target/$JARFILE .

java -jar $JARFILE > out.log &

if [ $? = 0 ];then

        sleep 30

        tail -n 50 out.log

fi

cd backup/

ls -lt|awk 'NR>5{print $NF}'|xargs rm -rf

 

另外一种方法，还没测试成功。（暂时放弃）---------------------------------------------------------

配置jenkins的ssh传输

首先安装publish over ssh插件

安装以后，点击系统管理 > 系统设置

选择 Publish over SSH

• Passphrase 不用设置

• Path to key 写上生成的ssh路径：/root/.ssh/id_rsa

下面的SSH Servers是重点

• Name 随意起名表明这个服务，待会要根据它来选则

• Hostname 配置应用服务器的地址

• Username 配置linux登录用户名

• Remote Directory 不填

点击test configuration以后，出现success，表示成功。

 

• 新建一个maven构建项目home_server_split。复制以前的项目配置。

大部分的配置都是和同一台机器的同样的，须要修改的地方是打包完成以后的操做。

 

 

• Source files配置:target/xxx-0.0.1-SNAPSHOT.jar 项目jar包名

• Remove prefix:target/

• Remote directory:代码应用服务器的目录地址，

• Exec command： 应用服务器对应的脚本。

此种方法，还没测试成功。（暂时放弃）---------------------------------------------------------

与发包jar项目的前面相同，不一样的是打包构建以后的步骤不同，以前是使用shell来完成项目的从新部署，如今打成war以后咱们须要作的是替换原来的war包

 

springboot打包成war包请参考

• http://www.noobyard.com/article/p-yxzlebpf-eo.html

由于jenkins把项目打包成war包以后须要把项目发布到tomcat的webapp目录下运行，因此须要给tomcat这是发布的帐号密码。

• tomcat7在conf/tomcat-users.xml下添加以下代码

<role rolename="tomcat"/>

<role rolename="manager-script"/>

<role rolename="manager"/>

  <role rolename="admin"/>

  <role rolename="admin-gui"/>

  <role rolename="manager-gui"/>

  <user username="admin" password="123456" roles="admin,admin-gui,manager-gui,manager-script,manager-gui"/>

• tomcat8和tomcat9还须要在打开webapps/manager/META-INF/context.xml，把一行代码注释掉，如图：

• 参考：https://my.oschina.net/xwzj/blog/900463

 

• WAR/EAR files:是war包的相对路径，如target/xxx.war  

• content path:Tomcat的发布路径,即项目的上下文，用于访问项目。如http://localhost:8080/heo，heo  

• 即为content path。  

• contaners :发布到的容器，主要可发布到tomcat、jboss、GlassFish  

• deploy on failure：发生错误的时候是否发布到tomcat  

• https://gitee.com/oschina/Gitee-Jenkins-Plugin

这里要利用的实际上是码云的webhook功能。

1. 首先jenkins安装gitee插件，实现自动部署插件

 

1. 添加码云连接配置

• 前往 Jenkins -> Manage Jenkins -> Configure System -> Gitee Configuration -> Gitee connections

• 在 Connection name 中输入 Gitee 或者你想要的名字

• Gitee host URL 中输入码云完整 URL地址： https://gitee.com （码云私有化客户输入部署的域名）

• Credentials 中如还未配置码云 APIV5 私人令牌，点击 Add - > Jenkins

• Domain 选择 Global credentials

• Kind 选择 Gitee API Token

• Scope 选择你须要的范围

• Gitee API Token 输入你的码云私人令牌，获取地址：https://gitee.com/profile/personal_access_tokens

生成的令牌：

• ID, Descripiton 中输入你想要的 ID 和描述便可。

• Credentials 选择配置好的 Gitee APIV5 Token

• 点击 Advanced ，可配置是否忽略 SSL 错误（适您的Jenkins环境是否支持），并可设置连接测超时时间（适您的网络环境而定）

• 点击 Test Connection 测试连接是否成功，如失败请检查以上 3，5，6 步骤。

点击测试成功，标识gitee配置完成。

 

配置了gitee的连接以后，接下来就是使用。

分为如下几个步骤：

一、打开x项目的配置，而后Gitee连接处。选择刚才配置的连接id

二、配置构建触发器：

生成hook密码。

三、打开gitee上的项目，打开管理界面的webhooks。

url的配置须要注意一下，jenkins上建议的地址是Gitee webhook 触发构建，须要在 Gitee webhook 中填写 URL: http://47.106.38.101:8080/project/homework。可是个人jenkins端口实际上是8081，因此须要改回来。而后把jenkins上生成的gitee webhook密码复制过来。

点击测试，会发现，jenkins会自动开始构建完成项目发布了。也就是说，之后只要发布代码到git上，jenkins就会自动构建了，完成了自动化过程。