DevOps实现CI/CD实战（六）- Jenkins集成k8s
十、 Jenkins集成k8s
Jenkins在集成K8s之前，需要搭建k8s集群，具体搭建步骤，完整笔记
https://github.com/ITenderL/ITenderL.github.io/tree/main/docs/DevOps，
包括完整的DevOps的笔记。
1. 准备部署的yml文件
pipeline.yml
apiVersion: apps/v1
kind: Deployment
metadata:namespace: testname: pipelinelabels:app: pipeline
spec:replicas: 2selector:matchLabels:app: pipelinetemplate:metadata:labels:app: pipelinespec:containers:- name: pipelineimage: harbor.com/sswang/pipeline:v4.0.0imagePullPolicy: Alwaysports:- containerPort: 8080---
apiVersion: v1
kind: Service
metadata:namespace: testname: pipelinelabels:app: pipeline
spec:selector:app: pipelineports:- port: 8082targetPort: 8080type: NodePort---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:namespace: testname: pipeline
spec:ingressClassName: nginxrules:- host: pipeline.test.comhttp:paths:- path: /pathType: Prefixbackend:service:name: pipelineport:number: 8082
2. 配置Docker私服
在尝试用kubernetes的yml文件启动pipeline服务时，会出现Kubernetes无法拉取镜像的问题，这里需要在kubernetes所在的Linux中配置Harbor服务信息，并且保证Kubernetes可以拉取Harbor上的镜像。
填写你的harbor地址信息，填写完成后下面会生成一行命令，复制命令到你的kube服务器运行，看是否可以登录成功，登陆成功就ok了
如果不成功，要检查一下你的daemon.json的配置
{"exec-opts": ["native.cgroupdriver=systemd"],# docker私服地址，把你的harbor地址加到这里"insecure-registries": ["kubernetes-register.sswang.com", "harbor.com"],"registry-mirrors": ["https://docker.m.daocloud.io","https://dockerhub.icu","https://registry.aliyuncs.com","https://docker.nju.edu.cn"]
}配置完成后，再次启动你的pipeline.yml
# 删除
kubectl delete -f pipeline.yml
# 启动
kubectl apply -f pipeline.yml
部署成功后，查看状态
[root@master ~]# kubectl get all -n test
NAME READY STATUS RESTARTS AGE
pod/pipeline-647d4585fb-qh292 1/1 Running 0 48mNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/pipeline NodePort 10.96.126.239 <none> 8082:32562/TCP 48mNAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/pipeline 1/1 1 1 48mNAME DESIRED CURRENT READY AGE
replicaset.apps/pipeline-647d4585fb 1 1 1 48m然后访问192.168.201.111:32562
3. Jenkins配置k8s
- 在系统配置下面添加publish over ssh 配置，配置完成后，应用保存
-
- 修改pipeline任务配置
修改项目中Jenkinsfile中publish over ssh步骤的配置命令，到pipeline语法中生成
sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
然后修改项目中的Jenkinsfile的配置，用下面的配置，替换原来publish over ssh的配置
stage('将部署的yml文件传送到k8s-master节点') {steps {sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])}}修改代码返回5.0.0，然后打标签v5.0.0,，然后构建看是否可以将pipeline文件传送到k8s服务器
[root@master k8s]# ls /usr/local/k8s/
pipeline.yml
# 文件已经传到目标服务器了，然后执行文件
- 运行pipeline.yml
如何运行pipeline.yml，使用shell命令的方式会需要输入密码
[root@master ~]# ssh root@192.168.201.120 kubectl ap -f /usr/local/k8s/pipeline.yml
root@192.168.201.120's password:因此只能使用ssh的无密码登录方式，让Jenkins容器内部以无密码的方式连接到k8s的master节点，绝体步骤如下
- 进入Jenkins容器内部
[root@clear jenkins_docker]# docker exec -it jenkins bash
jenkins@e96108b4b77b:/$ cd ~
# 找到隐藏的文件.ssh
jenkins@e96108b4b77b:~$ ls -a
.sshjenkins@e96108b4b77b:~$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQC86IaWBtwJkhlAEH4WYoMUAg8acBZGiM13BZPTsHeqM541lKp02qcgvk8RBd9Zg2ykmeCH6qkPNLTVPzqfR75bnOFD7ZZ3q/A0Yl6h06NzoxFAIAepuXdy+hF+IK3ORScl1pOsFq8TQAWtQWN2UTPYJ7xORW8w/2hgwXKffwzTj1uuA2PZDpoQanSyx1N0qV+/t2omFRFscV1BkhiZvNKa7Pifesd3m24y/uFykZTE8/YCn8Bjbvlj1AH77vdgkkrCXjFJZeqWVLYcpLEGVqUt9tklDI9XkEf6gE/ut+QWtB5HHN+pfW95MFkFY/78i4KXNDUT7+Ogix0AqvUKyhriMOUx8KaAfLCUAWNtrmC+mLQwPFyyJN1EEiCNYWb6OJ5G9geH1YvrzoRfcpLk/k6pmsbkrpJdxh2ZSQqwdvTnxWNDMjnJLRw4OE6rRMp57qWecFnqJuaJN1z43Cdk2wo9J/Ve6f02vXAN0iTFK6t6xAF9E5+lBbKps9FRoLz/3njqWcrMlFQ3jKO2IvL/JJKe+fNbc6VHGT0BPc2TQ4nay24I7KAqfLhLqkrpuhOHbPoj7dO3yr5zzu0I9Z78gPsRpM2BOmaEE+Q2WXKyGUZmsr3IWdy9V/l4IwxYRlNUxjvUxbetkbvRRP8rT48JhsJYeZfHAekgpsVnHKJMsTYnAQ== your_email@example.com# 如果没有则自己生成，生成方式如下
在设置SSH服务时，生成SSH密钥（公钥和私钥）是一个常见的任务。这些密钥用于安全地进行身份验证，无需输入密码。以下是如何生成SSH密钥的步骤：
- 生成SSH密钥对
首先，您需要在客户端机器上生成一个SSH密钥对。使用ssh-keygen命令来生成密钥对。ssh-keygen -t rsa -b 4096 -C “your_email@example.com”
-t rsa：指定密钥类型为RSA。
-b 4096：指定密钥长度为4096位。
-C “your_email@example.com”：添加注释（通常是您的电子邮件地址），这有助于识别密钥。
执行上述命令后，系统会提示您输入文件名以保存密钥（默认情况下保存在~/.ssh/id_rsa中），以及是否设置密码短语。设置密码短语可以增加额外的安全层，但也可以留空以便免密码连接。
- 查看生成的密钥文件
生成密钥对后，您的SSH目录（通常是~/.ssh）中将包含以下两个文件：id_rsa：私钥文件。
id_rsa.pub：公钥文件。
- 将公钥复制到远程服务器
要使用SSH密钥登录到远程服务器，需要将生成的公钥添加到远程服务器上的~/.ssh/authorized_keys文件中。可以使用ssh-copy-id命令来完成此操作：ssh-copy-id user@remote_hostuser：远程服务器上的用户名。
remote_host：远程服务器的IP地址或域名。
此命令会提示您输入远程服务器用户的密码，并将公钥自动复制到远程服务器的~/.ssh/authorized_keys文件中。
- 手动复制公钥 （可选）
如果无法使用ssh-copy-id，也可以手动复制公钥。首先查看公钥内容：cat ~/.ssh/id_rsa.pub然后，将输出的内容复制并粘贴到远程服务器上的~/.ssh/authorized_keys文件中。确保文件权限正确：
在远程服务器上执行
mkdir -p ~/.ssh chmod 700 ~/.ssh echo "your_public_key" >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys
- 测试SSH连接
完成上述步骤后，您应该能够使用SSH密钥进行无密码登录：ssh user@remote_host如果一切正常，您将直接登录到远程服务器，而不需要输入密码。
- 配置SSH客户端（可选）
为了更方便地管理多个SSH连接，可以在本地机器的~/.ssh/config文件中配置SSH客户端：Host remote_host_alias HostName remote_host User user IdentityFile ~/.ssh/id_rsa这样，您可以通过别名进行连接：
ssh remote_host_alias通过以上步骤，您可以生成SSH密钥并配置SSH服务，以便实现更加安全和便捷的无密码登录
- 来到k8s的master节点用户目录下.ssh文件夹，把jenkins的公钥放到.ssh文件夹下的authorized_keys文件中
[root@master ~]# cd ~
[root@master ~]# ls -a
. anaconda-ks.cfg .bash_logout .bashrc .config deploy-nginx.yml ingress kuboard-v3.yaml pipeline.yml .ssh .viminfo
.. .bash_history .bash_profile .cache .cshrc .docker .kube nginx-tomcat.yml .pki .tcshrc
[root@master ~]# cd .ssh
[root@master .ssh]# ls
known_hosts
[root@master .ssh]# touch authorized_keys
[root@master .ssh]# vim authorized_keys
# 复制密钥到文件中保存即可jenkins@e96108b4b77b:~$ ssh root@192.168.201.120 sfs
bash: sfs: command not found
jenkins@e96108b4b77b:~$下面就可以在Jenkins中执行k8s的命令了，来到jenkins中添加配置，生成pipeline命令
修改项目中Jenkinsfile文件，在执行步骤中添加一个步骤，然后去Jenkins构建
stage('远程执行k8s-master节点的kubectl命令') {steps {sh 'ssh root@192.168.201.120 kubectl apply -f /usr/local/k8s/pipeline.yml'}}最后成功部署了