一、安裝docker
環境：準備3臺centos7系統，都安裝上docker環境，具體安裝步驟和流程如下
參考：
https://docs.docker.com/install/linux/docker-ce/centos/
https://yeasy.gitbooks.io/docker_practice/content/install/
1.1 centos7配置yum源
cd /etc/yum.repos.d/
mkdir repo_bak
mv *.repo repo_bak/
wget http://mirrors.aliyun.com/repo/Centos-7.repo
wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
yum clean all
yum makecache
1.2 卸載舊版本docker
sudo yum remove docker
docker-client
docker-client-latest
docker-common
docker-latest
docker-latest-logrotate
docker-logrotate
docker-engine
1.3 使用存儲庫安裝docker
安裝所需的包
sudo yum install -y yum-utils
device-mapper-persistent-data
lvm2
使用以下命令設置穩定存儲庫。
阿里源，國內速度快
sudo yum-config-manager
--add-repo
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
1.4 安裝DOCKER CE
安裝最新docker
sudo yum install docker-ce docker-ce-cli containerd.io
或者yum列出docker再進行安裝
yum list docker-ce --showduplicates | sort -r
sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io
例如，docker-ce-18.09.1
1.5 建立 加入docker 用戶組
默認情況下，docker 命令會使用 Unix socket 與 Docker 引擎通訊。而只有 root 用戶和 docker 用戶才可以訪問 Docker 引擎的 Unix socket。出于安全考慮，一般 Linux 系統上不會直接使用 root 用戶。因此，更好的做法是將需要使用 docker 的用戶加入 docker 用戶組。
sudo groupadd docker
sudo usermod -aG docker $USER
1.5 啟動Docker
sudo systemctl start docker #啟動
sudo systemctl enable docker #開機啟動
查看有關Docker安裝的更多詳細信息
docker --version
docker version
docker info
測試hello-world
docker run hello-world
List Docker images
docker image ls
List Docker containers (running, all, all in quiet mode)
docker container ls
docker container ls --all
docker container ls -aq
1.6 卸載Docker CE
sudo yum remove docker-ce
sudo rm -rf /var/lib/docker
1.7 國內加速
vim /etc/docker/daemon.json
加入：
{
"registry-mirrors": [
"https://registry.docker-cn.com",
"http://hub-mirror.c.163.com",
"https://docker.mirrors.ustc.edu.cn"
]
}
重啟：
sudo systemctl restart docker
二、安裝Kubernetes集群
參考：
https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
https://blog.csdn.net/MssGuo/article/details/122773155
2.1 系統設置
systemctl stop firewalld #關閉防火墻
systemctl disable firewalld #設置開機不啟動
[root@master ~]# vim /etc/selinux/config #永久關閉selinux
SELINUX=disabled
關閉swap（k8s禁止虛擬內存以提高性能）
[root@master ~]#
永久禁用swap,注釋掉/etc/fstab里的swap配置
/dev/mapper/centos-swap swap swap defaults 0 0
free -h #可查看
kubernetes1.14之后的版本推薦使用systemd,但docker默認的Cgroup Driver 是Cgroup，會使得kubelet部署報錯（集群都這樣修改）
[root@master ~]# docker info | grep -i "Cgroup Driver" #查看一下docker使用的Cgroup Driver，還真是cgroupfs
Cgroup Driver: cgroupfs
處理辦法：修改/etc/docker/daemon.json 文件，添加如下參數：
[root@master ~]# vim /etc/docker/daemon.json #為了保持所有節點docker配置一致，所以其它節點的docker也改了
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"], #這句是之前就配置了的，但要注意加一個道號
"exec-opts": ["native.cgroupdriver=systemd"] #添加這一句
}
[root@master ~]# systemctl restart docker
[root@master ~]# docker info | grep -i "Cgroup Driver" #查看驗證
Cgroup Driver: systemd
2.2 安裝kubelet、kubeadm、kubectl
kubelet (真正的k8s服務) 運行在Cluster所有節點上，負責啟動Pod和容器。
kubeadm （只是工具）用于初始化Cluster。
kubectl （只是工具）是Kubernetes命令行工具。通過kubectl可以部署和管理應用，查看各種資源，創建、刪除和更新各種組件。
配置kubernetes的阿里云yum源（所有節點服務器都需要執行）
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安裝kubelet等服務、工具（所有節點服務器都需要執行）
yum install -y kubeadm-1.23.1-0 kubectl-1.23.1-0 kubelet-1.23.1-0
設置k8s服務kubelet開機啟動（所有節點服務器都需要執行）
設置開機啟動
systemctl enable kubelet
啟動命令
systemctl start kubelet
2.3 設置網橋參數
往k8s.conf文件添加內容
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
vm.swappiness=0
EOF
生效
sysctl --system
2.4 設置主機名
cat >> /etc/hosts <<EOF
192.168.1.20 master
192.168.1.21 node1
192.168.1.22 node2
EOF
2.5 使用kubeadm安裝k8s
1、創建一個master節點，kubeadm init。
2、將node節點加入kubernetes集群，kubeadm join <master_IP:port >。
初始化【master節點】的控制面板
kubeadm init --help可以查看命令的具體參數用法
kubeadm init
--apiserver-advertise-address=192.168.1.20
--image-repository registry.aliyuncs.com/google_containers
--kubernetes-version v1.23.1
--service-cidr=10.96.0.0/12
--pod-network-cidr=10.244.0.0/16
再開一個窗口，執行docker images可以看到，其實執行kubeadm init時k8s去拉取了好多鏡像
--apiserver-advertise-address=192.168.1.20 即master節點的IP
--image-repository registry.aliyuncs.com/google_containers 設置鏡像倉庫為國內的阿里云鏡像
--kubernetes-version v1.23.1 設置k8s的版本
--service-cidr=10.96.0.0/12 設置node節點的網絡
--pod-network-cidr指定Pod網絡的范圍。Kubernetes支持多種網絡方案，而且不同網絡方案對--pod-network-cidr有自己的要求，這里設置為10.244.0.0/16是因為我們將使用flannel網絡方案，必須設置成這個CIDR。
2.6 成功后的返回以及操作
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p HOME/.kube/config
sudo chown (id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg
--discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5
2.7 將node節點加入集群
使用mater init 返回的命令。這段kubeamd join命令的token只有24h，24h就過期，需要執行kubeadm token create --print-join-command 重新生成。
kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg
--discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5
2.8 在master節點配置pod網絡創建（部署容器網絡，CNI網絡插件）
node節點加入k8s集群后，在master上執行kubectl get nodes發現狀態是NotReady，因為還沒有部署CNI網絡插件，其實在步驟四初始化完成master節點的時候k8s已經叫我們去配置pod網絡了。
在k8s系統上Pod網絡的實現依賴于第三方插件進行，這類插件有近數十種之多，較為著名的有flannel、calico、canal和kube-router等，簡單易用的實現是為CoreOS提供的flannel項目。
執行下面這條命令在線配置pod網絡，因為是國外網站，所以可能報錯，測試去http://ip.tool.chinaz.com/網站查到
域名raw.githubusercontent.com對應的IP，把域名解析配置到/etc/hosts文件，然后執行在線配置pod網絡，多嘗試幾次即可成功。
kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
查看pod狀態：
kubectl get pods -n kube-system
