Jenkins+Gitlab持续集成综合实战

一、持续集成应用背景：

DevOps：（英文Development（开发）和Operations（技术运营）的组合）是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。它的出现是由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作；

应用背景：

一个开发单打独斗，撸代码，开发网站，自由自在；

多个开发同时开发一个网站，同时改一份代码。但是同时改一个文件会导致冲突；

采用分支结构，每天上班第一件事克隆代码，下班前最后一件事合并代码；

好景不长，开发越来越多，代码文件越来越多。每天下班前合并代码时，发现很多合并失败的文件。最后每天加班3小时人工合并代码；

解决方法：将代码合并的周期缩短，以前一天，现在一小时，半小时；

随时随地将代码合并，这种方法叫做持续集成；

理解持续集成、持续交付、持续部署：https://blog.csdn.net/kone0611/article/details/78534886

二、持续集成概述：

概述：持续集成（Continuous integration，简称CI），一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误；

理解jenkins持续集成：https://www.cnblogs.com/liyuanhong/p/6548925.html

持续集成要素：

1.统一的代码库；

2.自动构建；

3.自动测试；

4.每个人每天都要向代码库主干提交代码；

5.每次代码递交后都会在持续集成服务器上触发一次构建；

6.保证快速构建；

7.模拟生产环境的自动测试；

8.每个人都可以很容易的获取最新可执行的应用程序；

9.每个人都清楚正在发生的状况；

10.自动化的部署；

三、持续交付概述：

概述：持续交付（Continuous delivery，简称CD），指的是：频繁地将软件的新版本，交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段；持续交付可以看作持续集成的下一步。它强调的是，不管怎么更新，软件是随时随地可以交付的；

代码测试通过了，该到生产环境部署了，部署时要么成功，要么失败回滚；

四、持续部署概述：

概述：持续部署（Continuous Deployment，缩写为 CD）是持续交付的下一步，指的是代码通过评审以后，自动部署到生产环境；持续部署的目标是，代码在任何时刻都是可部署的，可以进入生产阶段；

五、Jenkins概述：

概述：Jenkins是一个用Java编写的开源的持续集成工具，Jenkins提供了软件开发的持续集成服务。它运行在Servlet容器中（例如Apache Tomcat）。它支持软件配置管理（SCM）工具（包括AccuRev SCM、CVS、Subversion、Git、Perforce、Clearcase和RTC），可以执行基于Apache Ant和Apache Maven的项目，以及任意的Shell脚本和Windows批处理命令；

Jenkins目的：

1.持续、自动地构建/测试软件项目；

2.监控软件开放流程，快速问题定位及处理，提示开放效率；

特性：

开源的java语言开发持续集成工具，支持CI，CD；

易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理；

消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告；

分布式构建：支持Jenkins能够让多台计算机一起构建/测试。

文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等；

丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等；

产品发布流程：

产品设计成型 -> 开发人员开发代码 -> 测试人员测试功能 -> 运维人员发布上线

六、案例：部署Jenkins持续集成；

案例环境：

系统类型

IP地址

主机名

所需软件

内存

Centos 7.4 1708 64bit

192.168.100.101

jenkins.linuxfan.cn

jdk-8u171-linux-x64.tar.gz

apache-tomcat-9.0.10.tar.gz

jenkins.war

apache-maven-3.5.4-bin.tar.gz

git

gitlab-ce

Centos 7.4 1708 64bit

192.168.100.102

http.linuxfan.cn

httpd

组件作用：

Maven的作用：Maven负责java语言的编译和打包换个角度来说，Maven相当于Java中的make命令，同类型的工具有Ant，但是Ant不提供解决依赖关系的功能，如若上传nginx等html的文件则不需要maven程序；

JENKINS的作用：通过git或者svn等命令从仓库中拉取源码，让maven进行编译并打包，把打好的包发送到目标主机，执行部署脚本，自动触发构建操作；

Gitlab的作用：Gitlab用来做开发人员通过git提交的代码存放的仓库进行管理；

案例步骤：

安装Gitlab程序：
配置并启动Gitlab程序：
通过web页面配置Gitlab程序：
通过web页面创建Gitlab项目：
通过git命令测试下载Gitlab中的项目代码及测试上传项目代码：
访问Gitlab的web页面验证上传的项目代码：

安装部署jdk环境：
安装部署apache-maven框架：

安装部署jenkins程序（四种方式，在此使用第三种基于tomcat安装）：
配置jenkins的web页面：
设置jenkins的环境变量与允许用户注册：
设置jenkins中的jdk的位置和maven的位置：

创建Jenkins任务：
构建任务完成后，构建触发任务，查看Jenkins是够能够成功连接到Gitlab：
模拟测试发布网站代码文件到gitlab，然后构建到Jenkins：
安装测试服务器上的httpd服务并且在jinkens主机上配置秘钥对，实现能远程到httpd服务：
配置jenkins程序构建任务推送网页文件到httpd服务器上：
验证httpd服务器的文件推送情况，客户端访问测试：

安装Gitlab程序：

[root@jenkins ~]# wget https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh[root@jenkins ~]# chmod +x script.rpm.sh[root@jenkins ~]# ./script.rpm.shThe repository is setup! You can now install packages.有本地缓存的yum源最好啦[root@jenkins ~]# yum install -y gitlab-ce

配置并启动Gitlab程序：

[root@jenkins ~]# vi /etc/gitlab/gitlab.rb13 external_url 'http://192.168.100.101':wq[root@jenkins ~]# gitlab-ctl reconfigure ##加载配置文件，每次修改后都需要Running handlers:Running handlers completeChef Client finished, 435/620 resources updated in 02 minutes 29 secondsgitlab Reconfigured![root@jenkins ~]# gitlab-ctl startok: run: alertmanager: (pid 13861) 17sok: run: gitaly: (pid 13787) 19sok: run: gitlab-monitor: (pid 13807) 19sok: run: gitlab-workhorse: (pid 13770) 20sok: run: logrotate: (pid 13360) 99sok: run: nginx: (pid 13345) 105sok: run: node-exporter: (pid 13457) 82sok: run: postgres-exporter: (pid 13885) 16sok: run: postgresql: (pid 13055) 146sok: run: prometheus: (pid 13842) 17sok: run: redis: (pid 12980) 152sok: run: redis-exporter: (pid 13618) 65sok: run: sidekiq: (pid 13307) 114sok: run: unicorn: (pid 13263) 120s[root@jenkins ~]# netstat -utplnActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    tcp        0      0 127.0.0.1:9100          0.0.0.0:*               LISTEN      2628/node_exporter  tcp        0      0 127.0.0.1:9229          0.0.0.0:*               LISTEN      3056/gitlab-workhortcp        0      0 127.0.0.1:9168          0.0.0.0:*               LISTEN      3102/ruby           tcp        0      0 127.0.0.1:8080          0.0.0.0:*               LISTEN      2481/unicorn mastertcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2536/nginx: master  tcp        0      0 127.0.0.1:8082          0.0.0.0:*               LISTEN      2502/sidekiq 5.1.3  tcp        0      0 127.0.0.1:9236          0.0.0.0:*               LISTEN      3072/gitaly         tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      813/sshd            tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      968/master          tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      2536/nginx: master  tcp        0      0 127.0.0.1:9121          0.0.0.0:*               LISTEN      2739/redis_exportertcp        0      0 127.0.0.1:9090          0.0.0.0:*               LISTEN      3117/prometheus     tcp        0      0 127.0.0.1:9187          0.0.0.0:*               LISTEN      3156/postgres_exportcp        0      0 127.0.0.1:9093          0.0.0.0:*               LISTEN      3129/alertmanager   tcp        0      0 0.0.0.0:9094            0.0.0.0:*               LISTEN      3129/alertmanager   udp        0      0 0.0.0.0:9094            0.0.0.0:*                           3129/alertmanager[root@jenkins ~]# chmod -R 755 /var/log/gitlab[root@jenkins ~]# yum -y install git[root@jenkins ~]# git config --global user.name "linuxfan"[root@jenkins ~]# git config --global user.email admin@linuxfan.cn[root@jenkins ~]# mkdir /opt/linuxfan[root@jenkins ~]# cd /opt/linuxfan[root@jenkins linuxfan]# git init初始化空的 Git 版本库于 /opt/linuxfan/.git/[root@jenkins linuxfan]# ssh-keygen  -t rsa -C admin@linuxfan.cn[root@jenkins linuxfan]# cat /root/.ssh/id_rsa.pubssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDauS+Tnzq4FFole83uuSOt9iURbq0blLlSBp1dzXbS3re26o5idURw+SLFCc5BUp0Pd78I+Awtxtm1Nz58KAinATgmv5ImTN6yMSF99QTSR0ut/c8mIjm4cMHphGUIZgIplnCC5IwkbIcvQiHhkDzzn6YK/63Rp9hc3HyaGmMneDmxAhZglOeuno6i7i2hyNerKrDHlCaNPYx11u4KQ1J1wi9KGl1JL+FifTwQEtvWFgQE8HtkrslJsFwhzVrTi7Bv5d5U/GpnKn/7Fln0qPKNoWdl4MR/iD6zdZ8a5yDW+QK9ciiViKO0EzD3slWHxrq/evjPuTg6GRLtdKzVQAQL admin@linuxfan.cn

通过web页面配置Gitlab程序：

通过web页面创建Gitlab项目：

通过git命令测试下载Gitlab中的项目代码及测试上传项目代码：

[root@jenkins linuxfan]# git clone http://192.168.100.101/linuxfan/linuxfan.git正克隆到 'linuxfan'...remote: Enumerating objects: 3, done.remote: Counting objects: 100% (3/3), done.remote: Total 3 (delta 0), reused 0 (delta 0)Unpacking objects: 100% (3/3), done.[root@jenkins linuxfan]# lslinuxfan[root@jenkins linuxfan]# ls linuxfan/www.linuxfan.cn[root@jenkins linuxfan]# rm -rf linuxfan/或者[root@jenkins ~]# git clone git@192.168.100.101:linuxfan/linuxfan.git ##下载项目linuxfan正克隆到 'linuxfan'...remote: Enumerating objects: 3, done.remote: Counting objects: 100% (3/3), done.remote: Total 3 (delta 0), reused 0 (delta 0)接收对象中: 100% (3/3), done.[root@jenkins linuxfan]# cat linuxfan/www.linuxfan.cn ##查看项目下载后的代码www.linuxfan.cn[root@jenkins linuxfan]# cd linuxfan/ ##切换到项目目录中[root@jenkins linuxfan]# pwd/opt/linuxfan/linuxfan[root@jenkins linuxfan]# touch haha.txt ##创建测试代码文件[root@jenkins linuxfan]# git add haha.txt[root@jenkins linuxfan]# git commit -m "haha.txt" ##将测试代码文件提交到git版本库中[master ee68b76] haha.txt1 file changed, 0 insertions(+), 0 deletions(-)create mode 100644 haha.txt[root@jenkins linuxfan]# git remote add origin git@192.168.100.101:linuxfan ##创建远程的gitlab版本库，名称为origin[root@jenkins linuxfan]# git push ##将git版本库中的文件上传到gitlabCounting objects: 4, done.Compressing objects: 100% (2/2), done.Writing objects: 100% (3/3), 268 bytes | 0 bytes/s, done.Total 3 (delta 0), reused 0 (delta 0)To git@192.168.100.101:linuxfan/linuxfan.gitbc0010d..ee68b76  master -> master

访问Gitlab的web页面验证上传的项目代码：

安装部署jdk环境：

[root@jenkins ~]# tar zxvf jdk-8u171-linux-x64.tar.gz[root@jenkins ~]# mv jdk1.8.0_171 /usr/local/java/[root@jenkins ~]# vi /etc/profileexport JAVA_HOME=/usr/local/javaexport PATH=$PATH:$MAVEN_HOME/bin:$JAVA_HOME/binexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:wq[root@jenkins ~]# source /etc/profile[root@jenkins ~]# java -versionjava version "1.8.0_171"Java(TM) SE Runtime Environment (build 1.8.0_171-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

安装部署apache-maven框架：

[root@jenkins ~]# wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz[root@jenkins ~]# tar zxvf apache-maven-3.5.4-bin.tar.gz[root@jenkins ~]# mv apache-maven-3.5.4 /usr/local/maven[root@jenkins ~]# ls /usr/local/mavenbin  boot  conf  lib  LICENSE  NOTICE  README.txt[root@jenkins ~]# ln -s /usr/local/maven/bin/* /usr/bin/[root@jenkins ~]# vi /etc/profileexport MAVEN_HOME=/usr/local/mavenexport PATH=$PATH:$MAVEN_HOME/bin:wq[root@jenkins ~]# source /etc/profile

安装部署jenkins程序（四种方式，在此使用第三种基于tomcat安装）：

1.离线安装：

[root@jenkins ~]# wget http://pkg.jenkins-ci.org/redhat/jenkins-2.39-1.1.noarch.rpm ## 下载(也可以Windows下载再传过来)[root@jenkins ~]# rpm --import http://pkg.jenkins-ci.org/redhat/jenkins.io.key[root@jenkins ~]# yum -y install jenkins-*.noarch.rpm

2.在线安装：

[root@jenkins ~]# wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.repo[root@jenkins ~]# rpm --import https://pkg.jenkins.io/redhat/jenkins.io.key[root@jenkins ~]# yum -y install jenkins

3.基于 Tomcat 安装：

[root@jenkins ~]# wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war[root@jenkins ~]# tar zxvf apache-tomcat-9.0.10.tar.gz[root@jenkins ~]# mv apache-tomcat-9.0.10 /usr/local/tomcat[root@jenkins ~]# cp jenkins.war /usr/local/tomcat/webapps/[root@jenkins ~]# ls /usr/local/tomcat/webapps/jenkins.war ##上传jenkins.war包，tomcat自动识别/usr/local/tomcat/webapps/jenkins.war[root@jenkins ~]# vi /usr/local/tomcat/conf/server.xml69     <Connector port="8888" protocol="HTTP/1.1":wq[root@jenkins ~]# /usr/local/tomcat/bin/startup.sh[root@jenkins ~]# netstat -utpln |grep javatcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      28027/java          tcp        0      0 127.0.0.1:8005          0.0.0.0:*               LISTEN      28027/java          tcp        0      0 0.0.0.0:8009            0.0.0.0:*               LISTEN      28027/java

发现浏览器安装jenkins卡在此处，通过以下方法解决；

[root@jenkins ~]# vi /root/.jenkins/hudson.model.UpdateCenter.xml5     <url>http://mirror.xmission.com/jenkins/updates/update-center.json</url>:wq[root@jenkins ~]# vi .jenkins/updates/default.json:%s/google/baidu/g将文件中的www.google.com替换成为www.baidu.com[root@jenkins ~]# /usr/local/tomcat/bin/shutdown.sh[root@jenkins ~]# /usr/local/tomcat/bin/startup.sh

再次刷新页面即可安装成功：

4.免安装方式：

[root@jenkins ~]# wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war[root@jenkins ~]# java -jar jenkens.war ##启动服务，直至看到日志Jenkins is fully up and running[root@jenkins ~]# curl http://localhost:8080/ ##Jenkins已就绪

配置jenkins的web页面进行安装：

[root@jenkins ~]# cat .jenkins/secrets/initialAdminPassword40e4323daf0e4717835df52068e66198

如若无法访问以下jenkins的主页，重启tomcat服务即可解决：

设置jenkins的环境变量与允许用户注册：

设置jenkins中的jdk的位置和maven的位置：

创建Jenkins任务：

构建任务完成后，构建触发任务，查看Jenkins是够能够成功连接到Gitlab：

模拟测试发布网站代码文件到gitlab，然后构建到Jenkins：

[root@jenkins ~]# cd /opt/linuxfan/[root@jenkins ~]# rm -rf ./*[root@jenkins linuxfan]# git clone git@192.168.100.101:linuxfan/linuxfan.git正克隆到 'linuxfan'...remote: Enumerating objects: 9, done.remote: Counting objects: 100% (9/9), done.remote: Compressing objects: 100% (5/5), done.remote: Total 9 (delta 1), reused 0 (delta 0)接收对象中: 100% (9/9), done.处理 delta 中: 100% (1/1), done.[root@jenkins linuxfan]# lslinuxfan[root@jenkins linuxfan]# cd linuxfan/[root@jenkins linuxfan]# cat <<END >>index.htmlhaohaoxuexitiantianxiangshangEND[root@jenkins linuxfan]# git add index.html[root@jenkins linuxfan]# git commit -m "index.html"[master 9cf216f] index.html1 file changed, 2 insertions(+)create mode 100644 index.html[root@jenkins linuxfan]# git pushCounting objects: 4, done.Writing objects: 100% (3/3), 261 bytes | 0 bytes/s, done.Total 3 (delta 0), reused 0 (delta 0)To git@192.168.100.101:linuxfan/linuxfan.git04265b2..9cf216f  master -> master

安装测试服务器上的httpd服务并且在jinkens主机上配置秘钥对，实现能远程到httpd服务：

[root@http ~]# yum -y install httpd[root@http ~]# systemctl start httpd[root@http ~]# rm -rf /var/www/html/*[root@jenkins linuxfan]# ssh-copy-id root@192.168.100.102[root@jenkins linuxfan]# ssh root@192.168.100.102Last login: Wed Sep 26 20:19:44 2018 from 192.168.100.1[root@http ~]# exit