這段時間一直在搞kuberntes的CI/CD。
最簡單的方法是在kubernetes 的master上直接部署jenkins 然后繼承各種插件打包，部署。非常簡單。

但是，為了裝逼用了docker嵌套技術也叫docker in docker 或是 D in D。

就是把jenkins部署在k8s里。jenkins master 構建時，啟動pod運行代碼克隆，項目構建，鏡像構建等指令操作。構成完成以后刪除pod。

另外一個坑比的事兒，我不想自己下載maven 、docker client 全部通過jenkins自動繼承實現。

舉例，就是比如說，我們有一個java的項目，我們打包這個項目。正常的我的機器上需要安裝maven、git 要做docker image，需要安裝docker client。我懶，不想部署這個東西。其實這些東西都可以在jenkins上繼承，就是在構建jenkins自動從下載maven，git

只需要在jenkins 上安裝插件以下幾個插件就可以實現
Git plugin （這個一般初始化的自動就安裝了）
Maven Integration plugin （需要額外手動安裝）
Docker plugin （需要額外手動安裝）
Kubernetes Continuous Deploy Plugin （這個是k8s部署插件）
Kubernetes plugin （要想在k8s 上實現d in d 必須安裝這個啊，沒有他實現不了）

1、jenkins 在 k8s 中的部署

#vi jenkins-pod.yaml
---
apiVersion: v1
kind: ReplicationController
metadata:
 name: jenkins-rc
 namespace: default
spec:
 replicas: 1
 selector:
  name: jenkins-pod
 template:
  metadata:
   labels:
    name: jenkins-pod
  spec:
   containers:
   - name: jenkins
     image: jenkins/jenkins:lts
     ports:
     - containerPort: 8080
     - containerPort: 50000
---
apiVersion: v1
kind: Service
metadata:
 name: jenkins-service
spec:
 type: NodePort
 ports:
 - port: 8080
   targetPort: 8080
   nodePort: 48080
 - port: 50000
   targetPort: 50000
   nodePort: 50000
 selector:
  name: jenkins-pod

把上面內容復制貼到一個文件里。

kubectl craete -f  jenkins-pod.yaml

ok 這樣就部署完了。
然后在瀏覽器里直接訪問
http://k8s-node-ip1:48080
然后，初始化的密鑰就用過下面的命令查看，復制黏貼上

kubectl exec -it jenkins-rc-xxxx "cat /var/jenkins_home/secrets/initialAdminPassword"

然后就安裝上面幾個插件。

2、配置jenkins slave節點在k8s

1.打開jenkins系統管理–>全局安全配置–>代理
tcp prot for jnlp agents 指定端口 50000

2.打開jenkins系統管理–>系統設置–>新增一個云–>Kubernetes
填幾個
name: kuernetes
kubernetes URL: http://xxxx:6443 （這個是kube-apiserver地址, 也可以是8080，前提要開啟8080。如果配的6443端口，就要配置下面的credentials認證，8080是不用授權認證的。有沒有問題可以點test connection測試。反復調試）
jenkins url: http://k8s_node_ip1:48080(瀏覽器訪問啥地址填啥)
kubernetes pod template 里的
name: jnlp-slave
labels: jnlp-slave
點添加容器(add container)
name: jnlp-slave
docker image: jenkins:jnlp-slave (jenkins官方slave，也可以用其他的晚上好多，自己找)
點添加卷(add volumes)
選 host path volume
host path： /var/run/docker.sock
mount path: /var/run/docker.sock (這是個坑啊，沒有這個不能docker build。而且還在k8s-node 運行chmod 777 /var/run/docker.sock，每個節點都要運行下，因為jnlp-slave 是已jenkins 用戶運行的，如果不改成這個權限 docker build的時候，會提示unix:///var/run/docker.socker沒權限)

3、jenkins繼承工具配置。

maven、git、docker這些工具都不用自己在配置下載。jenkins自動繼承。

在系統管理->全局工具配置
點maven 安裝-> 新增maven
name: default
鉤上自動安裝
點上新增安裝->選擇從apache安裝
選擇自己想要的版本

點docker安裝 -> 新增docker
name: default
鉤上自動安裝
點上新增安裝->選擇 download from docker.com

4、測試

這時候在jenkins界面上創建一個maven項目，然后配置上一個git地址。
在general 選項里有一個限制項目的運行節點勾選上，然后在標簽表示里添加上jnlp-slave，如果正確就會看到一個 label xxx is serviced by no nodes and 1 cloud.
保存以后。build

這個時候通過

kubectl get pods

就會有新的pods啟動了。這個節點就是在運行自動下載git 命令，maven命令然后構建項目。構建完了，pods自動刪除。

5、坑

1、剛才提到的在建pod模版的時候要掛載docker.sock。然后在把k8s-node上的docker.sock的權限改成777。而且這個權限一旦上的docker服務重啟，都需要重新賦的。因為docker服務的時候會刪除docker.sock文件，啟動的時候重新創建。

2、D in D 使用docker API build 鏡像找不到文件。
舉例，jnlp-slave 里 docker API build docker 鏡像。dockerfile 里面有add xx /opt/xx
運行掉用docker api build 這個鏡像的時候，是找不到這個文件的，因為這個文件是在jnlp-slave 里，遠程調用docker api 是在那個主機里找文件。（好雞繞！！！！！）

如果不用d in d 可以用這個方法。

3、 jenkins 界面項目里不能調用docker 自動下載。只有用pipeline的時候在可以（也可能是我不會，求指教。）界面項目里可以掉 maven 自動下載。在build ，"調用頂層maven目標"

4、當jenkins用的深入一點發現low的很，pipeline才是王道。

    def label = 'jnlp-slave'
    podTemplate(label: label, cloud: 'kubernetes', privileged: 'true') {  
    node(label) {
       //git clone
        stage('git') {
            git 'https://github.com/big-loser/springboot-test'    
        }
       //自動安裝maven build java
        stage('maven') {
            withMaven (
                maven: 'default'   
            ) {
            sh "mvn clean install -DskipTests"
            }
        }
       //自動安裝 docker client，build dockerfile
        stage('docker build') {
            sh "mv target/springboot-helloworld-0.0.1-SNAPSHOT.jar docker/"
            def dockerHome = tool 'default'
            env.PATH = "/home/jenkins/tools/org.jenkinsci.plugins.docker.commons.tools.DockerTool/default/docker:${env.PATH}"
            sh "docker build -t test-java:v${BUILD_NUMBER} docker/"
            sh "docker tag test-java:v${BUILD_NUMBER} docker.io/xiaoqi8866/test-java:latest"
            sh "docker login -u docker_hub_user -p docker_hub_passwd"
            sh "docker push docker.io/xiaoqi8866/test-java:latest"
        }
       //調用Kubernetes Continuous Deploy Plugin 插件
        stage('deploy') {
            kubernetesDeploy(
                kubeconfigId: 'e3677709-76c8-4164-a21b-8a0ec66d1ef8',
                configs: 'k8s_deploy/*.yml' 
            )
        }
    }
}

好了，搞了好幾天最惡心的是這些插件文檔很少。除了錯誤莫名其妙。

參考資料：
https://blog.csdn.net/you227/article/details/81079167

https://blog.csdn.net/lusyoe/article/details/79684318

https://code-maze.com/ci-jenkins-docker/

https://zhangchenchen.github.io/2017/12/17/achieve-cicd-in-kubernetes-with-jenkins/