kubeadm快速部署k8s集群

Kubernetes简介

Kubernetes，简称k8s，容器编排引擎，以API编程的方式管理安排各个容器的引擎。

• k8s会在多台node服务器上调度pod进行部署和扩缩容
• 每个pod内部可以含有多个container
• 每个container本质上就是一个服务进程
  

1、k8s集群环境

• 工具：kubeadm
• 软件环境：
  操作系统 CentOS7.2_x64【建议7.9，7.2版本需升级内核】
  Docker 24.0.0（CE）
  Kubernetes 1.30
• 服务器规划：

• 架构如下：
  

2、linux实验环境初始化【所有节点】

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根据规划设置主机名
hostnamectl set-hostname <hostname>

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

3、安装docker容器引擎【所有节点】

• 安装docker

wget http://mirrors.aliyun.com/repo/Centos-7.repo -O /etc/yum.repos.d/CentOS-Base.repo 

sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

sed -i 's/\$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo

yum makecache
yum -y update

yum install lrzsz -y  

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

yum -y install docker-ce
systemctl enable docker && systemctl start docker

• 配置镜像下载加速器

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://docker.m.daocloud.io","https://b9pmyelo.mirror.aliyuncs.com","http://dockerhub.aliangedu.cn"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl restart docker
docker info

4、安装cri-dockerd【所有节点】

Kubernetes v1.24移除docker-shim的支持，而Docker Engine默认又不支持CRI标准，因此二者默认无法再直接集成。为此，Mirantis和Docker联合创建了cri-dockerd项目，用于为Docker Engine提供一个能够支持到CRI规范的桥梁，从而能够让Docker作为Kubernetes容器引擎。

cri-dockerd 作为代理，作为k8s与docker的桥梁

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.2/cri-dockerd-0.3.2-3.el7.x86_64.rpm

rpm -ivh cri-dockerd-0.3.2-3.el7.x86_64.rpm

• 指定依赖镜像地址

vim /usr/lib/systemd/system/cri-docker.service
# fd:// +空格 + --pod-infra*
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9

systemctl daemon-reload 
systemctl enable cri-docker && systemctl start cri-docker

5、安装 kubeadm、kubelet、kubectl【所有节点】

• 安装 k8s 源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/rpm/repodata/repomd.xml.key
EOF

• 安装kubeadm、kubelet、kubectl

yum install -y kubelet-1.30.0 kubeadm-1.30.0 kubectl-1.30.0
systemctl enable kubelet

# 系统7.2版本需要 升级内核支持k8s，在/boot/config-*文件中追加 CONFIG_CGROUP_PIDS=y
echo 'CONFIG_CGROUP_PIDS=y' >> /boot/config-3.10.0-327.el7.x86_64
sudo yum update kernel -y
reboot

kubeadm工具常用命令：
•kubeadm init：初始化一个Master节点
•kubeadm join：将工作节点加入集群
•kubeadm upgrade：升级K8s版本
•kubeadm token：管理 kubeadm join 使用的令牌
•kubeadm reset：清空 kubeadm init 或者 kubeadm join 对主机所做的任何更改
•kubeadm version：打印 kubeadm 版本
•kubeadm alpha：预览可用的新功能

6、部署 k8s master 节点【master节点】

k8s-master(10.12.16.11)中执行如下：

kubeadm init \
  --apiserver-advertise-address=10.12.16.11 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.30.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///var/run/cri-dockerd.sock \
  --ignore-preflight-errors=all

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 参数解释
•--apiserver-advertise-address 集群通告地址
•--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
•--kubernetes-version K8s版本，与上面安装的一致
•--service-cidr 集群内部虚拟网络，Pod统一访问入口
•--pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致
•--cri-socket 指定cri-dockerd接口，如果是containerd则使用--cri-socket unix:///run/containerd/containerd.sock
初始化完成后，最后会输出一个join命令，先记住，下面加入节点会用到。
接着，拷贝kubectl使用的连接k8s认证文件到默认路径：

• 此时就可以使用kubectl工具管理K8s集群了，例如查看节点：
  
  （注：由于网络插件还没有部署，节点会处于NotReady状态）

7、加入k8s Node 节点【node节点】

在10.12.16.12/13（Node）执行。
向集群添加新节点，执行在kubeadm init输出的kubeadm join命令并手动加上–cri-socket=unix:///var/run/cri-dockerd.sock：

kubeadm join 10.12.16.11:6443 --token fvmhoe.opbjzwxj1vf6r9rt \
	--discovery-token-ca-cert-hash sha256:f2f25cf7bf0a7c8bc8c708cd4fe951cbc75cc704e8cb2d886224560262dd2f25 --cri-socket=unix:///var/run/cri-dockerd.sock

为了安全性，上述命令中的token，默认有效期为24小时，当过期后，就无法使用该命令再加入节点了。需要重新生成加入节点命令：

kubeadm token create --print-join-command

参考资料：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/

8、部署容器网络（CNI） 【所有节点】

目前三台节点状态均为 NotReady，由于网络插件还没有部署，节点会处于NotReady状态

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。
官方部署文档：https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

• 【 master节点】这步仅master节点

unzip calico-operator.zip
kubectl create -f tigera-operator.yaml 
kubectl create -f custom-resources.yaml 

• 【所有节点】

unzip calico-image-3.25.1.zip
cd calico-image-3.25.1/
ls *.tar |xargs -i docker load -i {}    # 导入镜像

• 【所有节点】

unzip dashboard-image-2.7.zip 
cd dashboard-image-2.7/
ls *.tar |xargs -i docker load -i {}    #  导入镜像

应用完成后，等待5分钟后，查看Pod运行状态：

kubectl get pods -n calico-system

所有节点状态都running了，节点状态也是 ready！！

Calico容器处于Running状态，节点也会准备就绪。

9、部署dashboard【所有YAML文件在Master节点上执行】

Dashboard是官方提供的一个UI，可用于基本管理K8s资源。
YAML下载地址：
https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml

默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

• kubernetes-dashboard.yaml 文件内容

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort

• 应用yaml

# kubectl apply -f recommended.yaml
kubectl apply -f kubernetes-dashboard.yaml # kubernetes-dashboard.yaml 离线文件
kubectl get pods -n kubernetes-dashboard

• 访问地址：https://NodeIP:30001【任意node】
  • https://10.12.16.13:30001
  • 下一步在master节点创建管理员后，拿到token登录

• 命令行创建用户【master节点】

# 创建service account并绑定默认cluster-admin管理员集群角色：
# 创建用户
kubectl create serviceaccount dashboard-admin -n kubernetes-dashboard
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:dashboard-admin
# 获取用户Token
kubectl create token dashboard-admin -n kubernetes-dashboard

• 拿到 token
  
• 使用输出的token登录Dashboard。将进入到首页：
  
• 点击登录
  
• 查看集群的nodes
  

10、在dashboard部署Nginx镜像

• 创建资源
  

• 从表单创建
  service 选 External 对外暴露
  

• 点击部署后
  
  等1分钟左右(线上拉取镜像)
  

• 在services拿到nginx端口，访问
  
  成功 ！！
  

11、搭建完集群后，建议虚拟机做快照

- Kubernetes安装目录：/etc/kubernetes/

• 问题解决：
  https://blog.csdn.net/weixin_38146924/article/details/117519139