如何在一台虚拟机中同时为三台CentOS 7系统部署Docker及K8s集群？

本文共计1897个文字，预计阅读时间需要8分钟。

1. 安装Docker环境： - 准备3台CentOS 7系统服务器。 - 在每台服务器上，按照以下步骤安装Docker环境： - 更新系统包： bash sudo yum update -y - 安装Docker依赖包： bash sudo yum install -y yum-utils device-mapper-persistent-data lvm2 - 添加Docker仓库： bash sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo - 安装Docker： bash sudo yum install -y docker-ce - 启动Docker服务： bash sudo systemctl start docker - 设置Docker开机自启： bash sudo systemctl enable docker - 验证Docker安装： bash sudo docker run hello-world - 以上步骤适用于每台服务器，确保所有服务器上都已安装并运行Docker。

一、安装docker

环境：准备3台centos7系统，都安装上docker环境，具体安装步骤和流程如下

参考：

docs.docker.com/install/linux/docker-ce/centos/
yeasy.gitbooks.io/docker_practice/content/install/

1.1 centos7配置yum源

> cd /etc/yum.repos.d/ > mkdir repo_bak > mv *.repo repo_bak/ > wget mirrors.aliyun.com/repo/Centos-7.repo > wget mirrors.163.com/.help/CentOS7-Base-163.repo > yum clean all > yum makecache 1.2 卸载旧版本docker

sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine 1.3 使用存储库安装docker 安装所需的包

sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 使用以下命令设置稳定存储库。

# 阿里源，国内速度快 sudo yum-config-manager \ --add-repo \ mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 1.4 安装DOCKER CE 安装最新docker

sudo yum install docker-ce docker-ce-cli containerd.io 或者yum列出docker再进行安装

yum list docker-ce --showduplicates | sort -r sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io 例如，docker-ce-18.09.1 1.5 建立 加入docker 用户组

默认情况下，docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入 docker 用户组。

sudo groupadd docker sudo usermod -aG docker $USER 1.5 启动Docker

sudo systemctl start docker #启动 sudo systemctl enable docker #开机启动 查看有关Docker安装的更多详细信息

docker --version docker version docker info 测试hello-world

docker run hello-world List Docker images

docker image ls List Docker containers (running, all, all in quiet mode)

docker container ls docker container ls --all docker container ls -aq 1.6 卸载Docker CE

sudo yum remove docker-ce sudo rm -rf /var/lib/docker 1.7 国内加速

vim /etc/docker/daemon.json

加入：

{ "registry-mirrors": [ "registry.docker-cn.com", "hub-mirror.c.163.com", "docker.mirrors.ustc.edu.cn" ] }

重启：

$ sudo systemctl daemon-reload $ sudo systemctl restart docker 二、安装Kubernetes集群

参考：
kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
blog.csdn.net/MssGuo/article/details/122773155

2.1 系统设置

systemctl stop firewalld #关闭防火墙 systemctl disable firewalld #设置开机不启动 [root@master ~]# vim /etc/selinux/config #永久关闭selinux SELINUX=disabled #关闭swap（k8s禁止虚拟内存以提高性能） [root@master ~]# #永久禁用swap,注释掉/etc/fstab里的swap配置 #/dev/mapper/centos-swap swap swap defaults 0 0 #free -h #可查看 kubernetes1.14之后的版本推荐使用systemd,但docker默认的Cgroup Driver 是Cgroup，会使得kubelet部署报错（集群都这样修改）

[root@master ~]# docker info | grep -i "Cgroup Driver" #查看一下docker使用的Cgroup Driver，还真是cgroupfs Cgroup Driver: cgroupfs #处理办法：修改/etc/docker/daemon.json 文件，添加如下参数： [root@master ~]# vim /etc/docker/daemon.json #为了保持所有节点docker配置一致，所以其它节点的docker也改了 { "registry-mirrors": ["b9pmyelo.mirror.aliyuncs.com"], #这句是之前就配置了的，但要注意加一个道号 "exec-opts": ["native.cgroupdriver=systemd"] #添加这一句 } [root@master ~]# systemctl restart docker [root@master ~]# docker info | grep -i "Cgroup Driver" #查看验证 Cgroup Driver: systemd 2.2 安装kubelet、kubeadm、kubectl

kubelet (真正的k8s服务) 运行在Cluster所有节点上，负责启动Pod和容器。
kubeadm （只是工具）用于初始化Cluster。
kubectl （只是工具）是Kubernetes命令行工具。通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。

配置kubernetes的阿里云yum源（所有节点服务器都需要执行）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF 安装kubelet等服务、工具（所有节点服务器都需要执行）

yum install -y kubeadm-1.23.1-0 kubectl-1.23.1-0 kubelet-1.23.1-0 设置k8s服务kubelet开机启动（所有节点服务器都需要执行）

# 设置开机启动 systemctl enable kubelet # 启动命令 systemctl start kubelet 2.3 设置网桥参数

#往k8s.conf文件添加内容 cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-ip6tables=1 net.bridge.bridge-nf-call-iptables=1 net.ipv4.ip_forward=1 vm.swappiness=0 EOF #生效 sysctl --system 2.4 设置主机名

cat >> /etc/hosts <<EOF 192.168.1.20 master 192.168.1.21 node1 192.168.1.22 node2 EOF 2.5 使用kubeadm安装k8s

1、创建一个master节点，kubeadm init。
2、将node节点加入kubernetes集群，kubeadm join <master_IP:port >。

初始化的控制面板

# kubeadm init --help可以查看命令的具体参数用法 kubeadm init \ --apiserver-advertise-address=192.168.1.20 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.23.1 \ --service-cidr=10.96.0.0/12 \ --pod-network-cidr=10.244.0.0/16 #再开一个窗口，执行docker images可以看到，其实执行kubeadm init时k8s去拉取了好多镜像

• --apiserver-advertise-address=192.168.1.20 即master节点的IP
• --image-repository registry.aliyuncs.com/google_containers 设置镜像仓库为国内的阿里云镜像
• --kubernetes-version v1.23.1 设置k8s的版本
• --service-cidr=10.96.0.0/12 设置node节点的网络
• --pod-network-cidr指定Pod网络的范围。Kubernetes支持多种网络方案，而且不同网络方案对--pod-network-cidr有自己的要求，这里设置为10.244.0.0/16是因为我们将使用flannel网络方案，必须设置成这个CIDR。

2.6 成功后的返回以及操作

Your Kubernetes control-plane has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config Alternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.conf You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg \ --discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5 2.7 将node节点加入集群

使用mater init 返回的命令。这段kubeamd join命令的token只有24h，24h就过期，需要执行kubeadm token create --print-join-command 重新生成。

kubeadm join 192.168.1.20:6443 --token deg1pk.88lgg93hqh74mbcg \ --discovery-token-ca-cert-hash sha256:81eeac318c2eba7a06cdabb2b4cb30bfedd4359a7c1cd7b508b68f9f74fddbe5 2.8 在master节点配置pod网络创建（部署容器网络，CNI网络插件）

• node节点加入k8s集群后，在master上执行kubectl get nodes发现状态是NotReady，因为还没有部署CNI网络插件，其实在步骤四初始化完成master节点的时候k8s已经叫我们去配置pod网络了。
• 在k8s系统上Pod网络的实现依赖于第三方插件进行，这类插件有近数十种之多，较为著名的有flannel、calico、canal和kube-router等，简单易用的实现是为CoreOS提供的flannel项目。

#执行下面这条命令在线配置pod网络，因为是国外网站，所以可能报错，测试去ip.tool.chinaz.com/网站查到 #域名raw.githubusercontent.com对应的IP，把域名解析配置到/etc/hosts文件，然后执行在线配置pod网络，多尝试几次即可成功。 kubectl apply -f raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

查看pod状态：

kubectl get pods -n kube-system