频道栏目
IT货架 > > 正文
Jenkins使用经验谈四(创建Job)
网友分享于:Jun 12, 2018 10:48:58 PM    来源: IT货架   
Jenkins使用经验谈4(创建Job)
前面做了那么多工作,现在终于到了创建Job这一步了,某种意义上,Jenkins的主要工作就是为了调度这些Job。Job的创建是有很大自由度的,也没有谁规定一定要创建成什么样子才行。下面我会以实际使用中的几个场景来举例说明。
需要注意的是:

  • Job名称千万不要用中文名称(不作死就不会死)。
  • 创建Job名称时最好有个规划,因为我们最后会通过正则匹配自动将Job归类,比如我喜欢 “项目前缀_一些说明-Job类型”这种方式。


先做一些准备活动

为了方便我们后面的实验,先找一台虚拟机,在上面搭建一下git服务器和代码质量管理平台(我这里使用的是sonar)。

搭建git服务器

因这部分不是我们的重点,所以我打算搭建一个最简单的基于SSH的git服务器,假设这台服务器IP为 172.16.12.83。
首选先从 https://github.com/git/git/tarball/master 下载git代码,按照下面的步骤解压并安装。

[root@svr83 ~]# tar xzvf git-git-v1.8.4-474-g128a96c.tar.gz -C /usr/local/src/
[root@svr83 ~]# cd /usr/local/src/git-git-128a96c/
[root@svr83 git-git-128a96c]# autoconf && ./configure --prefix=/usr/
[root@svr83 git-git-128a96c]# make && make install



创建一个git用户并以登录到这个git用户,然后在该用户的家目录下创建一个 git_home 用于存放项目代码(暂时先给git用户设置密码为git)。

[root@svr83 ~]# useradd git
[root@svr83 ~]# passwd git
Changing password for user git.
New UNIX password: 
BAD PASSWORD: it is WAY too short
Retype new UNIX password: 
passwd: all authentication tokens updated successfully.
[root@svr83 ~]# su - git
[git@svr83 ~]$ mkdir git_home



我们现在在 /tmp 下创建一个git 本地库,比如叫 helloJava,然后向这个库里提交一个 readme.txt 文件(因为第一次使用git,还需要设置一下用户名和邮件地址)。

[git@svr83 helloJava]$ git config --global user.email "bookong@gmail.com"
[git@svr83 helloJava]$ git config --global user.name "jiangxu"
[git@svr83 ~]$ mkdir /tmp/helloJava
[git@svr83 ~]$ cd /tmp/helloJava/
[git@svr83 helloJava]$ git init
初始化空的 Git 版本库于 /tmp/helloJava/.git/
[git@svr83 helloJava]$ echo "hello java project" > readme.txt
[git@svr83 helloJava]$ git add *
[git@svr83 helloJava]$ git commit -m 'initial project'
[master(根提交) d605f94] initial project
 1 file changed, 1 insertion(+)
 create mode 100644 readme.txt



将隐藏的 .git 目录拷贝到 /home/git/git_home 下,并改名叫 helloJava.git 目录。

[git@svr83 helloJava]$ cp -a .git/ /home/git/git_home/helloJava.git


我们在另一台服务器上试着clone出helloJava 项目。

[jenkins@svr82 test]$ git clone ssh://git@172.16.12.83/home/git/git_home/helloJava.git
正克隆到 'helloJava'...
The authenticity of host '172.16.12.83 (172.16.12.83)' can't be established.
RSA key fingerprint is 50:51:8e:ad:e0:da:1d:61:fb:d0:97:c0:2b:46:65:83.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.12.83' (RSA) to the list of known hosts.
git@172.16.12.83's password: 
remote: Counting objects: 3, done.
remote: Total 3 (delta 0), reused 0 (delta 0)
接收对象中: 100% (3/3), done.
检查连接... 完成
[jenkins@svr82 test]$ cat helloJava/readme.txt 
hello java project



简陋的 git 服务器搭建好了,足够我们实验用的了。

奴隶节点安装git程序

之前的文章中,我们创建了两个奴隶节点,操作系统分表为 Win7 和 CentOS。现在我们分表在上面安装git软件。CentOS这个节点的安装方法上面已经介绍了,只要再照做一遍就可以。Win7 下需要安装 msysgit 软件 http://msysgit.github.io/。
到 https://code.google.com/p/msysgit/downloads/list?q=full+installer+official+git 下载一个最新的程序,比如我下载的是 Git-1.8.4-preview20130916.exe,安装时在下图所示步骤里,选择“Run Git from the Windows Command Prompt”,将git添加到PATH路径中,其他都选默认值。




安装后检查一下




配置访问git服务器的凭据

还记得我们在上一集里配置了访问CentOS 奴隶节点的凭据吗?
用相似的方法在git服务器上给git用户添加一个公钥(具体步骤就不重复了),然后将私钥文件(id_rsa)分别拷贝到两台奴隶节点的当前用户家目录下的 .ssh 下(要注意在Linux系统下这个文件的权限必须是600)







搭建一个sonar服务器

为方便实验,我们把sonar搭建在git服务器上(172.16.12.83)。
首选到 http://www.sonarqube.org/downloads/ 下载最新的SonarQube。




解压到 /usr/local/ 下

[root@svr83 ~]# mv sonar-3.7.2.zip /usr/local/
[root@svr83 ~]# cd /usr/local/
[root@svr83 local]# unzip sonar-3.7.2.zip



虽然Sonar可以使用默认的H2嵌入数据库,但Jenkins上的Sonar插件不支持,所以这里我们要安装一个MySQL的数据库
我们到下载一个 MySQL,我下的是 MySQL-client-5.5.29-1.linux2.6.i386.rpm 和 MySQL-server-5.5.29-1.linux2.6.x86_64.rpm。
下载链接:http://dev.mysql.com/downloads/mysql/5.5.html#downloads
安装这两个 RPM 包。

[root@svr83 sonar-3.7.2]# rpm -ivh MySQL-*


拷贝模版文件构造 my.cnf。

[root@svr83 sonar-3.7.2]# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf


修改 my.cnf 内容
...
[client]
...
default-character-set = utf8
...
[mysqld]
...
lower_case_table_names = 0
...



启动 mysql

[root@svr83 sonar-3.7.2]# service mysql start


进入 mysql 客户端创建默认的库sonar,添加访问用户(用户名sonar,密码sonar),并退出 mysql 客户端。

[root@svr83 sonar-3.7.2]# mysql
mysql> grant all privileges on *.* to 'sonar'@'%' identified by 'sonar';
mysql> grant all privileges on *.* to 'sonar'@'localhost' identified by 'sonar';
mysql> flush privileges;
mysql> quit



然后可以实验一下用sonar用户能否正常登录:

[root@svr83 sonar-3.7.2]# mysql -h localhost -u sonar -p


修改 sonar 目录下 conf/sonar.properties 文件,启用 MySQL 相关设置

……
#----- MySQL 5.x
# Comment the embedded database and uncomment the following line to use MySQL
sonar.jdbc.url:                            jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true
……



启动sonar。

[root@svr83 linux-x86-64]# pwd
/usr/local/sonar-3.7.2/bin/linux-x86-64
[root@svr83 linux-x86-64]# ./sonar.sh start
Starting sonar...
Started sonar.



在浏览器中输入 http://172.16.12.83:9000/ 看到 sonar 的界面。




创建一个用于健康检查的Job

我们打算创建这样一个Job,每十五分钟检查一次代码库,发现有提交动作就触发构建,编译代码并执行单元测试,它的目的是保证构建的完整性。在这个例子里,我们假设代码是Java语言编写,需要JDK 7来编译,使用ant工具来编译执行单元测试,需要在Win 7 系统上来做这一切。
首选我们先进入Jenkins页面中的“系统管理”→“系统设置”,找到 “JDK”部分,选择“新增JDK”。




我们选择让Jenkins系统在需要的时候自动安装“Java SE Development Kit 7u40”。




注意最下面的错误提示,需要你输入一个Oracle 帐号,点击链接进去,是一个需要输入帐号和密码的页面(帐号可以到 https://login.oracle.com/mysso/signon.jsp 免费注册)。




设置好JDK后,我们找到“Ant”部分,点击“新增Ant”按钮。也同样设置在构建需要时自动安装Ant。




作为这一切后,点击屏幕下方的“Save”按钮保存配置。
然后我们写个简单的,用Ant编译的Java小程序,javaAntSample 推送到之前搭建好的git服务器上(具体方法参考前面关于git服务器部分的说明)。在这个程序的 build.xml 里,我们主要想执行 testrun  这个 target,它会完成编译并执行单元测试的工作,最后在项目根路径下产JUnit单元测试的报告 TEST-sample.project1.AllTests.xml。
现在回到Jenkins的首页,点击“新Job”。使用Ant编译的话我们要选择“构建一个自由风格的软件项目”;“任务名称”我写的是“project1_javaAntSample-auto”,这个名字里我想表达说这个Job属于“project1”项目,之后我建立视图时会用正则匹配所有以“project1_”开头的项目;后面的“javaAntSample”希望我直接查看操作目录时有比较直观的提示,我希望用最后的“auto”标明这是一个做监控检查的Job。当然你也可以采用其他的命名规则。




确定以后涉及的内容比较多,我一点一点来介绍。
首选“描述”这部分很好理解,当你点击进入某个Job查看详情时,会显示在页面的上方,这个部分可以在里面写HTML内容。
下面的“丢弃旧的构建”很重要,我们曾经遇到过使用的太久后无用的发布包(比如WAR包)将磁盘空间耗尽的情况。我建议这里设置“发布包最大保留#个构建”设置为1。






后面的几项我一般不做设置,但“Restrict where this project can be run”要设置希望构建的奴隶节点,我们这里设置为 win。




“高级项目选项”这里,我一般只设置 “Display Name”,这里设置一个中文名称后,在Jenkins里显示Job时优先显示这个值。




下面就到了“源码管理”这部分了,选择“Git”,填写仓库的URL和希望签出的分支名。




你可能注意到了,下面有一大串错误提示“Fail to connect to repository……”这个不用管它,因为Jenkins的主节点我们没有配置访问git服务器的密钥的原因。
如果你在Job执行时出现下面错误





点击“高级”按钮,我们在下面的地方随便设置一下(可以设置一个管理员的邮箱)。




下面的“构建触发器”部分,我们希望是每15分钟检查一次代码库,如果有变化,则触发构建。




在下面的“构建”部分,点击按钮“增加构建步骤”,选择“Invoke Ant”。




Ant的版本选择我们一开始在“系统设置”里指定的版本,第一次执行前它会自己下载。“Targets”输入“testrun”,这个值来自我们的build.xml文件中的定义。
在下面的“构建后操作”中,点击“Add post-build action”按钮,在列表中选择“Publish JUnit test result report”。





由于我们的报告是输出到项目根路径下,所以我们这里直接填写XML文件名。




现在再次点击“Add post-build action”按钮,选择“E-mail Notification”,添加失败后的邮件提醒。这里不但可以设定固定通知的人,还可以自动发邮件给疑似导致构建失败的人。







如果你有时间就等待它自动触发构建,否则你可以点击 直接触发构建




这时候你执行Job的构建会发现一直停留在git签出代码阶段,造成这个的原因是家目录不正确,没有找到私钥的原因。我们可以有两个方式解决。

解决Win7下无法签出git代码

方式一:修改Win7奴隶节点的设置

添加两个环境变量“HOMEPATH”和“USERPROFILE”。




方法二:安装插件 EnvInject Plugin

我们在插件管理页面中,安装插件“EnvInject Plugin”。





这时再修改Job的定义(在“参数化构建过程”下面会出现新的属性“Prepare an environment for the run”。设置里面的“Properties Content”




最后执行结果






创建一个用于代码质量分析的Job

假如我们希望对代码进行静态检查,可以创建这种Job。最简单的方式就是与sonar进行集成,sonar支持众多语音的静态检查,包括:.NET($)、Android、C/C++($)、C++(社区版)、Java、JavaScript、PHP等等,其中后面带($)表示收费版本,比如C/C++ 插件一年7000欧元。http://docs.codehaus.org/display/SONAR/Plugin+Library
使用前我们先安装Sonar插件“Jenkins Sonar Plugin”




安装好插件后,我们进入“系统设置”页面。
先找到“Sonar Runner”这里,点击“新增 Sonar Runner”按钮。




向下,找到“Maven”部分,新建一个Maven(就像前面创建的Ant一样,需要时他会自动安装的)




再向下,找到“Sonar”部分,点击“Add Sonar”按钮。其中“Server URL”就是我们Sonar的访问URL“http://172.16.12.83:9000/”;Sonar默认帐号和密码都是“admin”;数据库部分的设置就是我们前面配置Sonar配置文件中写的MySQL相关设置。




前一个Job里,我们用Ant构建了一个Java项目,毕竟Ant已经过时了,我们在这个Job试试用Maven构建一个项目,先创建一个用Maven构建的项目 javaMavenSample 推送到我们实验用的git服务器上。Maven构建时除了pom.xml 外还有一个重要的配置是 settings.xml 文件,一般在这个文件中指定私服 nexus 的地址,一般情况下会要求将这个文件放在本地用户家目录下的 .m2 文件夹中。但对Jenkins来说这样可能造成一个构建干扰另一个构建的情况,所以我们将这个 settings.xml 文件放在 javaMavenSample 项目的根目录下一起提交。
现在创建一个新Job,名称就叫“project2_javaMavenSample-nightly”,类型选择“构建一个maven2/3项目”




其他的设置参考前面监控检查的Job吧,这里只说说不一样的地方。
触发构建的日程表我们可以设置成“H 0 * * *”,表示每天晚上0点检查代码库是否有更新。因为静态检查是一个极其消耗资源的缓慢过程,所以没有必要在健康检查中触发。
Maven项目的Job会有一个“Build”部分。“Goals and options”我们写“clean install”,点击“高级”按钮展开高级属性,在“Settings file”这里,选择“Settings file in filesystem”,“File path”上可以写相对于Job工作区的相对路径,这里我们直接写“settings.xml”,这样代码库中随项目一起提交的settings.xml就会生效。





在“构建后操作”这部分,点击“Add post-build action”按钮,添加“Sonar”,基本上安装默认值就可以。







执行Job看一下。
成功后到我们的Sonar服务器上可以看到结果 http://172.16.12.83:9000/


创建自动部署测试环境的Job

创建一个自动部署到测试环境的Job有很多方法。

方法一:通过Deploy Plugin

安装“Deploy Plugin”插件。这个插件支持 Tomcat 4.x/5.x/6.x/7.x、JBoss 3.x/4.x、Glassfish 2.x/3.x 的自动部署。




你可以在设置Job的“构建后操作”部分添加“Deploy war/ear to container”







要注意的是,比如你自动部署到 Tomcat 上,那么它的 webapps 目录下 manager 需要保留,然后在 conf/tomcat-users.xml 文件中,添加如下内容

        <role rolename="manager-gui"/>
        <role rolename="manager-script"/>
        <role rolename="manager-jmx"/>
        <role rolename="manager-status"/>
        <role rolename="manager"/>
        <role rolename="admin"/>
        <user 
                username="admin"
                password="admin" 
                roles="manager-gui,manager-script,manager-jmx,manager-status, admin, manager"/>



方法二:通过脚本

这种方式更自由,你可以写好一个脚本来做你希望的事情,然后通过Jenkins来远程启动这个脚本。
如果时执行Windows下的批处理,就选择“Execute Windows batch command”,如果是bash脚本,就选择“Execute shell”。




写脚本时,有写Jenkins的内部变量你可以使用,比如我们这个实验系统,有个页面就是介绍这些内部变量的 http://ci.abc.com/jenkins/env-vars.html/。




创建一个做集成测试的Job

这一类的Job一般是依赖某个Job(比如手动部署测试环境)构建后启动构建。所以我们在配置Job属性时配置:




展示报告

Jenkins 的插件已经覆盖了大部分的报告格式(测试报告、静态检查报告等),如果你使用了一个工具的报告格式是不常见。你可以尝试把格式转化为XUnit兼容的格式展示。或者可以将报告产生的XML文件结合 XLS文件通过 “HTML Publisher Plugin” 插件来展示。




关于 XSL 展示 XML ,有兴趣可以看看 http://www.ibm.com/developerworks/cn/xml/theme/x-xsl.html

交互风格的Job

这是个有趣的功能,比如上面我们说的用于自动部署的Job,如果常规的构建方式,我们只能构建最新的代码,如果我们希望能部署指定的某次提交到测试环境怎么办呢?我们可以设置“参数化构建过程”来实现(参数化构建的本质是在构建前让你和Job有个交互过程,交互结果以环境变量方法参与到Job的构建)。
首选参考前文,在主节点上安装git工具并且配置访问git服务器的私钥(id_rsa)到 .ssh 目录下。
编辑Job的属性,找到“参数化构建过程”添加一个“Git Parameter”。




执行后发现并没有列出git上的所有提交。




在“系统管理”→“System Log”中




查看“所有系统日志”得知,后台报错“No such file or directory”。我觉得这是Jenkins的一个Bug,我们配置Job是在奴隶节点上执行,它却在主节点上查找目录。关于这个问题我们用另一个方法来解决, 我们欣赏一下在主节点构建的Job使用Git参数做参数化构建的效果。有一点要注意,这里虽然列出提交Id但不代表选择后会签出指定的这次提交代码,它只是将你选择的内容保存到你指定Name命名的环境变量里。




刚才说的另一个方法需要安装两个插件“Extended Choice Parameter plugin”和“Extensible Choice Parameter plugin”他们可以扩展参数化构建过程。




我们在 Jenkins 服务器上创建一个目录 /jenkins/tmp/,然后签出 javaMavenSample 项目的代码。

[root@svr80 ~]# mkdir /jenkins/tmp/
[root@svr80 ~]# cd /jenkins/tmp/
[root@svr80 tmp]# git clone ssh://git@172.16.12.83/home/git/git_home/javaMavenSample.git



在Jenkins的服务器上创建一个 /jenkins/tools/ 目录,然后在下面写一个脚本 genProject2Revision.sh,内容如下:

#!/bin/bash

cd /jenkins/tmp/javaMavenSample
/usr/bin/git pull
echo "revision=\\" > /jenkins/tools/project2_revision.txt
/usr/bin/git log --pretty=oneline | /bin/awk '{printf "%s,\\\n", $1}' >> /jenkins/tools/project2_revision.txt



设置crontab 让这个脚本每小时执行一次。

[root@svr80 tools]# crontab -l
0 * * * * /jenkins/tools/genProject2Revision.sh



这样我们每小时就会更新 project2_revision.txt 文件内容如下




现在设置Job,添加“Extended Choice Parameter”








再执行Job,可以选择了




这里做的选择只会将选择内容保存到 GIT_COMMIT 环境变量里,要希望签出选定的代码,创建一个Pre-build setup。




目前这个测试项目的提交历史如下




当我选择中间的那次提交 ed8ec8bf4966cf41b859b5f60dd0fc96f5797af2 时,执行结果如下:




当选择最早的那次提交 2f65720bb717c4e62ae9d2e34d521689e30cd463 时,执行结果如下,构建失败的原因参考上面的提交历史可知,那次提交时 settings.xml 文件还未添加。










广告服务联系QQ:1134687142 | 网站地图

版权所有: IT货架- 内容来自互联网,仅供用于技术学习,请遵循相关法律法规. 京ICP备11030978号-1