04: CI（持续集成）/CD（持续交付/持续部署）
1.1 持续集成、持续交付 介绍
参考博客：http://www.noobyard.com/article/p-dibbboea-w.htmlhtml
一、传统交付java
1. 传统软件的开发与交付的周期都很漫长，从需求的分析、系统的设计、编写测试用例、系统开发、单元测试、组装测试到交付调试。node
2. 每一次交付、升级，都须要提供基础的硬件、软件的环境、软件的代码、软件的文档与手册。linux
3. 工程师都按照以前预演过好多遍的流程，对照着系统的部署手册，一步一步的组装硬件，安装软件，稍有差池，就要按照对应的应急预案进行回滚。git
二、技术工程师平常 与 痛点github
1）立项，建代码库，申请资源，拉分支写代码，联调测试，发布到线上，设置监控点，质效分析和总结等等web
2）这些活动存在于不一样的平台，天天在不停的重复，须要不停的和各个团队沟通，不停的作研发平台和技术栈的切换docker
3）因此咱们又回到持续交付的一个原则，若是有一件事让你感受到痛苦，那么就尽早实现自动化。apache
4）梳理出规范化的玩法，采用自动化的高效手段，用技术去解决这些让咱们感受头疼的问题。json
三、CI 持续集成 与 CD持续交付
持续集成(Continuous Integration，CI)： 代码合并、构建、部署、测试都在一块儿，不断地执行这个过程，并对结果反馈（主要产出是一个镜像）
持续部署(Continuous Deployment，CD)：加将产品部署到 测试环境、预生产环境、生产环境
持续交付(Continuous Delivery，CD)： 将最终产品发布到生产环境，给用户使用
四、产品线发布流程
五、国内一些公司开发的轮子
阿里云效/codepipeline：https://www.aliyun.com/product/codepipeline
百度效率云：https://xiaolvyun.baidu.com/
普元devops平台：http://www.primeton.com/products/devops/
六、构建持续集成环境介绍
1.2 构建持续集成环境（搭建Harbor私有镜像仓库+git服务：192.168.56.14）
一、安装Docker（192.168.56.14）
# 1）安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 # 2）添加Docker软件包源(不然doker安装的不是新版本) yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo # 3）安装Docker CE yum install -y docker-ce # 4）启动Docker服务并设置开机启动 systemctl start docker systemctl enable docker # 5）安装docker compose curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose docker-compose --version # 测试docker-compose是否安装好
二、安装Harbor（192.168.56.14）
1. 配置Harbor Https认证等，内容较多请参考， http://www.noobyard.com/article/p-mhfaoolj-bt.html
2. 必须保证Jenkins机器和Docker机器能经过命令 docker login linux-node4.example.com 登陆私有镜像仓库Harbor
'''安装Harbor镜像仓库''' # 一、下载离线安装包 https://github.com/goharbor/harbor/releases # 二、解压并配置访问地址''' cd /home/work tar zxvf harbor-offline-installer-v1.8.1.tgz cd /home/work/harbor vi harbor.yml ''' hostname = 192.168.56.14 harbor_admin_password = 123456 ''' # 三、准备配置 ./prepare # 四、导入镜像并启动 ./install.sh # 五、查看容器状态 docker-compose ps 安装完成后能够登陆Harbor：http://192.168.56.14
三、Git代码版本仓库
'''在192.168.56.14安装git仓库 ''' # 一、安装Git yum -y install git # 二、建立Git用户并设置密码 useradd git passwd git # 三、建立仓库（下面三步git仓库已经建立完成） su - git # 切换到git用户 mkdir solo.git # 在git用户家目录建立镜像仓库文件夹 demo.git cd solo.git git --bare init # 初始化镜像仓库 '''在192.168.56.13中模拟拉取git代码进行测试 ''' # 四、模拟拉取并提交代码 yum -y install git git clone git@192.168.56.14:/home/git/solo.git touch test.py # 建立一个文件模拟代码提交 git add . git commit -m 'test' git push origin master # 五、配置客户端与Git服务器SSH免交互认证 ssh-keygen # 生成秘钥 ssh-copy-id git@192.168.56.14 # 将私钥拷贝到git服务器 ssh git@192.168.56.14 # 在192.168.56.13测试免密登陆192.168.56.14
1.3 构建持续集成环境（部署docker以便部署部署项目：192.168.56.13）
一、安装docker
# 1）安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 # 2）添加Docker软件包源(不然doker安装的不是新版本) yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo # 3）安装Docker CE yum install -y docker-ce # 4）启动Docker服务并设置开机启动 systemctl start docker systemctl enable docker
# 5)配置镜像加速器：https://www.daocloud.io/mirror
[root@linux-node2 ~]# curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io
[root@linux-node2 ~]# cat /etc/docker/daemon.json # 执行上面命令后就会将镜像源修改为国内的地址
{"registry-mirrors": ["http://f1361db2.m.daocloud.io"]}
[root@linux-node2 ~]# systemctl restart docker # 重启docker生效
二、复制Harbor证书登陆Harbor服务器
mkdir -p /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/linux-node4.example.com.cert /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/linux-node4.example.com.key /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/ca.crt /etc/docker/certs.d/linux-node4.example.com/ vi /usr/lib/systemd/system/docker.service # 添加--insecure-registry 192.168.56.14
''' ExecStart=/usr/bin/dockerd --insecure-registry 192.168.56.14 ''' systemctl restart docker.service # 重启docker
# 能够在linux-node3.example.com机器上测试docker登陆
docker login linux-node4.example.com
三、配置java JDK环境
[root@linux-node3 ~]# cd /usr/local/ # 将jdk-8u45-linux-x64.tar.gz包上传到当前文件夹中
[root@linux-node3 local]# tar -xvf jdk-8u45-linux-x64.tar.gz
[root@linux-node3 local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_45 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH [root@linux-node3 local]# source /etc/profile
[root@linux-node3 local]# java -version
1.4 构建持续集成环境（安装Jenkins服务：192.168.56.12）
一、安装docker
# 1）安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 # 2）添加Docker软件包源(不然doker安装的不是新版本) yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo # 3）安装Docker CE yum install -y docker-ce # 4）启动Docker服务并设置开机启动 systemctl start docker systemctl enable docker # 5)配置镜像加速器：https://www.daocloud.io/mirror [root@linux-node2 ~]# curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io [root@linux-node2 ~]# cat /etc/docker/daemon.json # 执行上面命令后就会将镜像源修改为国内的地址 {"registry-mirrors": ["http://f1361db2.m.daocloud.io"]} [root@linux-node2 ~]# systemctl restart docker # 重启docker生效
二、复制Harbor证书登陆Harbor服务器
mkdir -p /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/linux-node4.example.com.cert /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/linux-node4.example.com.key /etc/docker/certs.d/linux-node4.example.com/ scp -r root@192.168.56.14:/home/work/harbor/ssl/ca.crt /etc/docker/certs.d/linux-node4.example.com/ vi /usr/lib/systemd/system/docker.service # 添加--insecure-registry 192.168.56.14 ''' ExecStart=/usr/bin/dockerd --insecure-registry 192.168.56.14 ''' systemctl restart docker.service # 重启docker
# 能够在linux-node2.example.com机器上测试docker登陆
docker login linux-node4.example.com
三、上传配置Java JDK环境
[root@linux-node3 ~]# cd /usr/local/ # 将jdk-8u45-linux-x64.tar.gz包上传到当前文件夹中
[root@linux-node3 local]# tar -xvf jdk-8u45-linux-x64.tar.gz
[root@linux-node3 local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_45 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH [root@linux-node3 local]# source /etc/profile
[root@linux-node3 local]# java -version
四、上传配置maven
[root@linux-node2 work]# tar -xvf apache-maven-3.5.0-bin.tar.gz -C /usr/local/ # 先上传apache-maven-3.5.0-bin.tar.gz
五、拉取java的博客系统测试
[root@linux-node2 ~]# yum –y install git
[root@linux-node2 ~]# cd /root/test/
[root@linux-node2 ~]# git clone https://github.com/b3log/solo.git
[root@linux-node2 test]# cd solo/
[root@linux-node2 solo]# git remote rm origin
[root@linux-node2 solo]# git remote add origin git@192.168.56.14:/home/git/solo.git
[root@linux-node2 solo]# git add .
[root@linux-node2 solo]# git commit -m 'all'
[root@linux-node2 solo]# git push origin master # 配置客户端与Git服务器SSH免交互认证
[root@linux-node2 solo]# ssh-keygen # 生成秘钥
[root@linux-node2 solo]# ssh-copy-id git@192.168.56.14 # 将私钥拷贝到git服务器
[root@linux-node2 solo]# ssh git@192.168.56.14 # 在192.168.56.13测试免密登陆192.168.56.14
六、构建一个Tomcat基础镜像，并推送到Harbor中
[root@linux-node2 solo]# mkdir -p /root/solo/
[root@linux-node2 solo]# vi /root/solo/Dockerfile
''' FROM centos:7 MAINTAINER www.example.com RUN yum install unzip iproute -y ENV JAVA_HOME /usr/local/jdk # 使用宿主机的java JDK环境 ADD apache-tomcat-8.0.46.tar.gz /usr/local RUN mv /usr/local/apache-tomcat-8.0.46 /usr/local/tomcat WORKDIR /usr/local/tomcat EXPOSE 8080 ENTRYPOINT ["./bin/catalina.sh", "run"] '''
## 注：必定要把apache-tomcat-8.0.46.tar.gz上传到/root/solo/目录下
[root@linux-node2 solo]# docker build -t linux-node4.example.com/test/tomcat:v1 . # 构建一个tomcat镜像 # linux-node4.example.com # Harbor镜像仓库名称 # test # 在Harbor页面中建立的项目（必定记获得Harbor管理页面建立test项目） # tomcat:v1 # 咱们打的镜像名称
[root@linux-node2 jenkins]# docker images # 查看到刚刚构建的linux-node4.example.com/test/tomcat 镜像
[root@linux-node2 solo]# docker push linux-node4.example.com/test/tomcat:v1 # 将镜像推送到Harbor中
七、安装Jenkins（使用官方提供的Jenkins二次构建）
[root@linux-node2 ~]# mkdir –p /home/work/jenkins
[root@linux-node2 ~]# cd /home/work/jenkins
[root@linux-node2 jenkins]# vim Dockerfile # 使用官方Jenkins镜像构建咱们的镜像
''' FROM jenkins USER root RUN apt-get update && apt-get install -y git libltdl-dev ''' [root@linux-node2 jenkins]# docker build -t jenkins:v1 . # 构建Jenkins镜像
[root@linux-node2 jenkins]# docker images # 能够看到咱们的镜像了
[root@linux-node2 jenkins]# docker rm -f $(docker ps -q -a) # 删除咱们刚刚建立的测试镜像
[root@linux-node2 jenkins]# #### 使用下面命令建立Jenkins容器（使用上面构建的jenkins:v1镜像） # -v命令进行挂载，其中冒号前面的是本机的目录 # 将本机的javahome和mavenhome的路径，挂载到Jenkins容器上，冒号后面是容器上的目录，能够写跟本机目录相同
''' docker run -d \ --name jenkins \ -p 8080:8080 \ -v /var/jenkins_home/:/var/jenkins_home \ -v /usr/local/apache-maven-3.5.0:/usr/local/maven \ -v /usr/local/jdk1.8.0_45:/usr/local/jdk \ -v /var/run/docker.sock:/var/run/docker.sock \ -v $(which docker):/usr/bin/docker \ -v ~/.ssh:/root/.ssh \ jenkins:v1 ''' [root@linux-node2 work]# cat /var/jenkins_home/secrets/initialAdminPassword # 查看Jenkins密码，要放到页面中验证
3628631b13f04919ac864a597c336ce1
1.5 构建持续集成环境（在页面中完成Jenkins安装：192.168.56.12）
访问Jenkins：http://192.168.56.12:8080
一、输入Jenkins初始密码
二、选择安装插件
安装报错常看法决方案：http://www.noobyard.com/article/p-muxpmzba-bg.html
三、配置Jenkins admin用户信息
1.6 构建持续集成环境（配置Jenkins：192.168.56.12）
一、配置配置git、jdk、maven
Manage Jenkins ----》Global Tool Configure----》Global Tool Configuration
[root@linux-node2 local]# sudo chown -R 1000 /var/jenkins_home #注意挂载目录受权
[root@linux-node2 local]# docker restart d57a # 重启Jenkins所在的docker容器
1）配置java JDK
2）配置git
3）配置maven
二、系统配置
# 配置192.168.56.13中用户密码ssh登陆，好让Jenkins一会run你的镜像
1）配置ssh凭证
凭证---》global---》添加凭证
2）配置使用上面凭证ssh 192.168.56.13的docker主机
Manage Jenkins ----》Global Tool Configure ----》Configuration System
注：若是没有 SSH remote hosts，记得主动安装插件，插件名（SSH）
1.7 使用Jenkins建立一个新的项目，将java项目从Jenkins(192.168.56.12)自动部署到docker(192.168.56.13)机器中
一、建立一个新任务
create new jobs # 若是没有“构建一个maven项目”选项，本身安装插件：Maven Integration
二、配置Jenkins使用git拉取代码的路径
git@192.168.56.14:/home/git/solo.git 是咱们本身搭建的git仓库地址
三、简单测试一下触发器配置
注：每隔一分钟拉取一次git仓库中的代码
四、指定maven构建选项
五、测试构建
# 构建完成后Jenkins工做目录便可看到构建生成的 solo.war包，这个solo.war包放到Tomcat中就能够启动了
[root@linux-node2 target]# ll /var/jenkins_home/workspace/solo_blog/target/solo.war
六、配置构建成功后的动做（将项目打包推送到镜像中）
刚刚已经看到构建没问题，此时能够配置构建成功后的动做
1）再次配置
2）构建项目镜像，并推送到Harbor中
1. 使用上面生成，推送到Harbor的 tomcat:v1镜像生成项目镜像 solo:v1
2. 将solo:v1推送到Harbor中
cd $WORKSPACE cat > Dockerfile << EOF FROM linux-node4.example.com/test/tomcat:v1 MAINTAINER WWW.example.com COPY target/solo.war /tmp/ROOT.war RUN rm -rf /usr/local/tomcat/webapps/* && \ unzip /tmp/ROOT.war -d /usr/local/tomcat/webapps/ROOT && \ rm -f /tmp/ROOT.war ENTRYPOINT ["./bin/catalina.sh", "run"] EOF docker build -t linux-node4.example.com/test/solo:v1 . docker login -u admin -p 123456 linux-node4.example.com docker push linux-node4.example.com/test/solo:v1
七、配置完构建成功后动做后，从新构建，保证输出台是（success）
注： 使用Jenkins远程，让docker主机(192.168.56.13)拉取上步构建的solo:v1项目镜像启动docker容器
docker rmi -f solo:v1 | true docker rm -f solo | true docker login -u admin -p 123456 linux-node4.example.com docker run -dit --name solo -p 8888:8080 -v /usr/local/jdk1.8.0_45/:/usr/local/jdk linux-node4.example.com/test/solo:v1
1111111111111111