【云原生】使用Kubectl工具详细讲解+管理集群

Kubernetes资源控制管理

一、案例概述

• kubectl是一个用于操作Kubernetes集群的命令行接口，利用kubectl的各种命令可以是实现各种功能，再使用Kubernetes过程中是非常常用的工具。

• 在Kubernetes中，一般使用YAML格式的文件来创建符合预期期望的Pod状态，这样的YAML文件一般称之为资源清单。

二、案例前置知识点

2.1、Kubectl命令工具

• Kubernetes通过kube-apiserver成为整个kubenetes集群管理的入口。API Server是kubernetes集群的主管理节点，用户通过API Server配置和组织集群，同样集群中各节点与Etcd存储的交互也是通过API Server来进行的。
• API Server实现了一套TRSTfull的接口，用户可以直接使用API与API Server进行交互。另外官方还提供了一个客户端Kubectl工具集打包，可以直接通过kubectl以命令行的方式与集群进行交互。

# kubectl 命令行的语法如下所示
kubectl [command] [TYPE] [NAME] [flags]

# 参数解释
command：字命令，用于操作kubernetes集群资源对象的命令。例如：create、delete、describe、get、apply等
TYPE：资源对象的类型。区别大小写，能以单数、复数或者简写形式表示，例如：kubectl get pod pod1、kubectl get pods pod1、kubectl get po pod1三种TYPE等一样的意思，回显也将会是一样的
NAME：资源对象名称，区别大小写。如果不指定名称，系统则返回属于TYPE的全部对象列表，例如，执行kubectl get pods命令即可返回默认命名空间default中的所有Pod的列表
flags：kubectl字命令的可选参数，例如使用“-s”指定API Server的URL地址而不用默认值

• kubectl的字命令非常丰富，涵盖了对Kubernetes集群的主要操作，包括资源对象的创建、删除、查看、修改、配置、运行等操作。详细的子命令如下图所示

基础命令

部署命令

集群管理命令

故障诊断和调试命令

高级命令

设置命令

其他命令

2.2、资源清单

• Kubernetes中所有内容都被抽象为资源，资源实例化之后称之为对象。资源分为以下几种类型。

2.2.1、名称空间级别

​ 名称空间级别是仅在此名称空间下生效。例如：kubernetes的系统组件默认放在kube-system名称空间下，而kubectl get pod等价于kubectl get pod -n default，因此查看不到kubernetes的系统组件

​ 名称空间级别的资源主要分为以下集中类型

• 工作负载型资源（workload）

Pod：K8S最下组成部分，共享网络栈共享存储卷

ReplicaSet：RS，调度器、控制器，通过标签去控制Pod的创建、副本数量

Deployment：控制器，通过控制RS的创建去创建Pod

StatefulSet：为有状态服务所建立的管理器

DaemonSet：可以在每个节点上都运行一个Pod组件

Job：工作、任务（一次性任务）

CronJob：轮询工作、轮询任务，为批处理而生的

• 服务发现及负载均衡型资源（ServiceDiscovery LoadBalance）

Service：服务（简称svc），将服务暴露出去；Service是后端真实服务的抽象，一个Service可以代表多个相同的后端服务

Ingress：将服务暴露出去；Ingress是反向代理规则，用来规定HTTP/S请求应该转发到哪个Service上

• 配置与存储型资源

Volume（存储卷）：给Pod提供持久化的能力

CSI：容器存储接口，可以扩展各种各样的第三方存储卷

• 特殊类型的存储卷

ConfigMap：当配置中心来使用的资源类型，一般用来存储配置文件达到热更新的状态

Secret：保存敏感数据，加密方案存储数据，一般用来保存密码文件、密钥等等

DewnwardAPI：把外部环境中的信息输出给容器，类似于CS

注意：Kubernetes一般都是定义资源清单的方式去创建资源，资源清单等价于剧本，写好每一步应该如何去做

2.2.2、集群级别

• 不管在任何名称空间下定义，在其他的名称下都能看到，在定义的时候无须指定名称空间。例如NameSpace（名称空间）、Node（节点）、Role（角色）、ClusterRole、RoleBinding、ClusterRoleBinding

2.2.3、元数据级别

• 提供一个指标，不像是名称空间类型又不像集群级别，本质上更像是在两者之间，但是它有自己的特点，所以更应该作为一个单独的分类。一般根据指标进行对应的操作，例如：HPA、PodTemplate（Pod模板）、LimitRange（资源限制）

2.3、资源清单常用字段解释

2.3.1、必要存在的属性

2.3.2、主要对象

2.3.3、额外的参数选项

2.3.4、YAML语言

• YAML语言是一个可读性高，用来表达数据序列的格式。在开发的这种语言时，TAML的意思其实是：“Yet Another Markup Language”（仍是一种标记语言），但为了强调这种语言以数据作为中心，而不是以标记语言为重点，而用反向缩略语重命名

2.3.4.1、基本语法

• 缩进时不允许使用Tab键，只允许使用空格 []
• 缩进的空格数目不重要，只要相同层级的元素左侧对齐即可
• [#] 用于表示注释，从这个字符一直到行尾，都会被解释器忽略

2.3.4.2、支持的数据结构

• 对象：键值对的集合，又称为映射/哈希/字典
• 数组：一组按次序排列的值，又称为序列/列表
• 吨量：单个的、不可再分的字符串。包括布尔值、整数、浮点数、Null、时间、日期

资源列表

基础环境

• 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

• 关闭内核安全机制

setenforce 0
sed -i "s/^SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config

• 修改主机名

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02

一、使用Kubectl工具管理容器资源

• kubectl是管理K8S集群的命令行工具，通过生成的json格式传递给API server进行创建、查看、管理的操作

# 查看kubectl命令帮助，可以更好的进行学习，其中包括基本命令、部署命令、群集管理命令、调试命令以及高级命令等
[root@master ~]# kubectl --help
kubectl controls the Kubernetes cluster manager.

 Find more information at: https://kubernetes.io/docs/reference/kubectl/overview/

Basic Commands (Beginner):
  create        Create a resource from a file or from stdin
  expose        Take a replication controller, service, deployment or pod and expose it as a new Kubernetes service
  run           在集群中运行一个指定的镜像
  set           为 objects 设置一个指定的特征

Basic Commands (Intermediate):
  explain       Get documentation for a resource
  get           显示一个或更多 resources
  edit          在服务器上编辑一个资源
  delete        Delete resources by file names, stdin, resources and names, or by resources and label selector

Deploy Commands:
  rollout       Manage the rollout of a resource
  scale         Set a new size for a deployment, replica set, or replication controller
  autoscale     Auto-scale a deployment, replica set, stateful set, or replication controller

Cluster Management Commands:
  certificate   修改 certificate 资源.
  cluster-info  Display cluster information
  top           Display resource (CPU/memory) usage
  cordon        标记 node 为 unschedulable
  uncordon      标记 node 为 schedulable
  drain         Drain node in preparation for maintenance
  taint         更新一个或者多个 node 上的 taints

Troubleshooting and Debugging Commands:
  describe      显示一个指定 resource 或者 group 的 resources 详情
  logs          输出容器在 pod 中的日志
  attach        Attach 到一个运行中的 container
  exec          在一个 container 中执行一个命令
  port-forward  Forward one or more local ports to a pod
  proxy         运行一个 proxy 到 Kubernetes API server
  cp            Copy files and directories to and from containers
  auth          Inspect authorization
  debug         Create debugging sessions for troubleshooting workloads and nodes

Advanced Commands:
  diff          Diff the live version against a would-be applied version
  apply         Apply a configuration to a resource by file name or stdin
  patch         Update fields of a resource
  replace       Replace a resource by file name or stdin
  wait          Experimental: Wait for a specific condition on one or many resources
  kustomize     Build a kustomization target from a directory or URL.

Settings Commands:
  label         更新在这个资源上的 labels
  annotate      更新一个资源的注解
  completion    Output shell completion code for the specified shell (bash, zsh or fish)

Other Commands:
  alpha         Commands for features in alpha
  api-resources Print the supported API resources on the server
  api-versions  Print the supported API versions on the server, in the form of "group/version"
  config        修改 kubeconfig 文件
  plugin        Provides utilities for interacting with plugins
  version       输出 client 和 server 的版本信息

Usage:
  kubectl [flags] [options]

Use "kubectl <command> --help" for more information about a given command.
Use "kubectl options" for a list of global command-line options (applies to all commands).

• 在一个完成的项目周期中，包含创建>发布>更新>回滚>删除等过程，下面针对该过程依次进行操作命令的演示。

1.1、创建容器

• kubectl run命令可以创建并运行一个或多个容器镜像，也可以创建一个deployment或job来管理容器。此命令和docker run相类似，也是实现容器镜像的创建，先从仓库中拉取基础镜像，然后对容器进行操作。kubectl run的命令语法如下所示

kubectl run NAME --image=image [--env="key=value"] [--port=port] [--replicas=replicas] [--diy-run=bool] [--overrides=inline-json] [--command] -- [COMMAND] [args...] [options]
# 上述命令语法中，个选项的作用分别如下所示
NAME：指定容器运行的名称
image：指定运行的基础镜像
env：指定在容器中设置的环境参数
port：指定容器暴露的端口
replicas：指定容器设置的副本数
dry-run：dry-run值如果为true，则只打印要发送的对象，而不发送它
overrides：生成对象的内联JSON重写，如果非空，则用于覆盖生成的对象。要求对象提供有效的apiVersion字段

• 通过kubectl run命令创建Nginx容器，指定名称为nginx-deployment，指定基础镜像为nginx目前最新版本，指定对外暴露端口为80

[root@master ~]# kubectl create deployment nginx-deployment --image=nginx 
deployment.apps/nginx-deployment created
[root@master ~]# kubectl get pod
NAME                                READY   STATUS    RESTARTS   AGE
nginx-deployment                    1/1     Running   0          12m

1.2、发布服务

• 容器资源创建完成，就需要完成发布工作，确保Pod能够提供服务，保证客户端能够正常访问，使用kubectl expose命令可以实现该目的。kubectl expose的命令语法如下所示

kubectl expose (-f FILENAME | TYPE NAME) [--port=port] [--protocol=TCP|UDP] [--target-port=number-or-name] [--name=name] [--external-ip=external-ip-of-service] [--type=type]
# 上述命令语法中，个选项的作用分别如下所示
-f：表示公开服务的资源的文件的文件名，目录或URL
TYPE NAME：指定deployment'名称
port：指定内部通信端口
protocol：指定网络协议，tcp或udp
target-port：指定暴露在外部的端口
name：指定最新创建的对象的名称
external-ip：为serivce的外部IP地址
type：指定此服务的类型ClusterIP、NodePort、LoadBalancer或ExternalName默认ClusterIP

• 通过kubectl expose命令创建Service，设置内部通信端口和外部暴露的端口均为80、名称为nginx-service、类型是NodePort。创建Service完后，就可以通过kubectl get svc命令查看到对外暴露的端口了（31424），内部通信的地址是

[root@master ~]# kubectl expose deployment nginx-deployment --port=80 --target-port=80 --type=NodePort
service/nginx-deployment exposed
[root@master ~]# kubectl get svc
NAME               TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
kubernetes         ClusterIP   10.1.0.1      <none>        443/TCP        2d4h
nginx-deployment   NodePort    10.1.55.214   <none>        80:31424/TCP   74s


# 查看Node真实节点上的分布
[root@master ~]# kubectl get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE     IP           NODE    NOMINATED NODE   READINESS GATES
nginx-deployment-794f656f8b-ljxgf                    1/1     Running   0          15m     10.244.1.2   node2   <none>           <none>

# 进行访问，外部网络也可以访问
[root@master ~]# curl 127.0.0.1:31424
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

1.3、版本更新

• 一般来说，生产环境中的线上项目会随着时间的推进不断地进行更新、维护、版本升级、兼容老版本。而此时如果需要nginx更换版本，就需要更新

[root@master ~]# kubectl get pod 
NAME                                READY   STATUS    RESTARTS   AGE
nginx-deployment-794f656f8b-ljxgf                    1/1     Running   0          18m

# 执行以下命令可以得知nginx的版本为1.21.5
[root@master ~]# kubectl exec -it nginx-deployment -- nginx -v
nginx version: nginx/1.21.5


# 使用set命令更新版本
[root@master ~]# kubectl get deployment,pod
NAME                               READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/nginx-deployment   1/1     1            1           8m40s

NAME                                    READY   STATUS    RESTARTS   AGE
pod/nginx-deployment-794f656f8b-ljxgf                    1/1     Running   0          20m
[root@master ~]# kubectl set image deployment.apps/nginx-deployment nginx=nginx:1.20


# 再次查看版本
deployment.apps/nginx-deployment image updated
[root@master ~]# kubectl exec -it nginx-deployment-54c69fd89f-zvnjk -- nginx -vnginx version: nginx/1.20.2

1.4、版本回滚

• 若想回滚到上一个版本可以使用rollout参数

# 使用--help查看rollout帮助信息
[root@master ~]# kubectl rollout --help
Manage the rollout of a resource.
  
 Valid resource types include:

  *  deployments
  *  daemonsets
  *  statefulsets

Examples:
  # Rollback to the previous deployment
  kubectl rollout undo deployment/abc
  
  # Check the rollout status of a daemonset
  kubectl rollout status daemonset/foo

Available Commands:
  history     显示 rollout 历史
  pause       标记提供的 resource 为中止状态
  restart     Restart a resource
  resume      继续一个停止的 resource
  status      显示 rollout 的状态
  undo        撤销上一次的 rollout

Usage:
  kubectl rollout SUBCOMMAND [options]

Use "kubectl <command> --help" for more information about a given command.
Use "kubectl options" for a list of global command-line options (applies to all commands).


# 查看deployment历史信息
[root@master ~]# kubectl rollout history deployment.apps/nginx-deployment
deployment.apps/nginx-deployment 
REVISION  CHANGE-CAUSE
1         <none>
2         <none>


# 通过undo指定回滚操作，回滚到上一个版本
[root@master ~]# kubectl rollout undo deployment.apps/nginx-deployment
deployment.apps/nginx-deployment rolled back


# 通过status检查回滚
[root@master ~]# kubectl rollout status deployment.apps/nginx-deployment
deployment "nginx-deployment" successfully rolled out


# 查看nginx版本
[root@master ~]# kubectl exec -it nginx-deployment-794f656f8b-6mz9m -- nginx -vnginx version: nginx/1.21.5

1.5、删除资源

• 通过以上步骤，完成了创建、发布、更新、回滚操作，接下来进行删除操作。通过kubectl get deployment查看deployment，并且使用kubectl delete 删除deployment；通过kubectl get svc查看service，并且使用kubectl delete 删除service

[root@master ~]# kubectl get deployment
NAME               READY   UP-TO-DATE   AVAILABLE   AGE
nginx-deployment   1/1     1            1           19m

[root@master ~]# kubectl delete deployment nginx-deployment
deployment.apps "nginx-deployment" deleted

[root@master ~]# kubectl get deployment
No resources found in default namespace.

[root@master ~]# kubectl get pod
No resources found in default namespace.

[root@master ~]# kubectl get svc
NAME               TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
kubernetes         ClusterIP   10.1.0.1      <none>        443/TCP        2d5h
nginx-deployment   NodePort    10.1.55.214   <none>        80:31424/TCP   21m

[root@master ~]# kubectl delete svc nginx-deployment
service "nginx-deployment" deleted

[root@master ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.1.0.1     <none>        443/TCP   2d5h

1.6、查看资源使用情况

• 通过describe可以查看较为详细的容器资源使用情况，包括一些错误信息都能检查出来

[root@master ~]# kubectl run nginx --image=nginx:latest --port=80
pod/nginx created


[root@master ~]# kubectl get pod
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          16s


[root@master ~]# kubectl describe pod nginx
Name:         nginx
Namespace:    default
Priority:     0
Node:         node1/192.168.93.102
Start Time:   Wed, 26 Jun 2024 20:37:13 +0800
Labels:       run=nginx
Annotations:  <none>
Status:       Running
IP:           10.244.2.5
IPs:
  IP:  10.244.2.5
Containers:
  nginx:
    Container ID:   docker://56c71f925580c9685df61d57483c1395915fc5b65fca0f572d21d3b73e96d4f5
    Image:          nginx:latest
    Image ID:       docker-pullable://nginx@sha256:0d17b565c37bcbd895e9d92315a05c1c3c9a29f762b011a10c54a66cd53c9b31
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Wed, 26 Jun 2024 20:37:29 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-b2bbx (ro)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  kube-api-access-b2bbx:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       <nil>
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              <none>
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  40s   default-scheduler  Successfully assigned default/nginx to node1
  Normal  Pulling    40s   kubelet            Pulling image "nginx:latest"
  Normal  Pulled     24s   kubelet            Successfully pulled image "nginx:latest" in 15.608598189s
  Normal  Created    24s   kubelet            Created container nginx
  Normal  Started    24s   kubelet            Started container nginx

1.7、执行容器命令

• 进入Pod。使用exec可以进入容器，完成相关操作

[root@master ~]# kubectl get pod
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          2m1s
[root@master ~]# kubectl exec -it nginx -- bash
root@nginx:/# ls
bin   docker-entrypoint.d   home   media  proc	sbin  tmp
boot  docker-entrypoint.sh  lib    mnt	  root	srv   usr
dev   etc		    lib64  opt	  run	sys   var
root@nginx:/# /etc/init.d/nginx status
nginx is running.
root@nginx:/# nginx -v
nginx version: nginx/1.21.5