Docker 与 Kubernetes 部署 RabbitMQ 集群（二）

四、Kubernetes 部署 RabbitMQ 集群实战

（一）Kubernetes 集群准备

搭建 Kubernetes 集群可以采用多种方式 ，例如使用 kubeadm 工具进行搭建。kubeadm 提供了一种简单且高效的方法来创建 Kubernetes 集群，它会自动处理许多复杂的配置和初始化工作 。在使用 kubeadm 搭建集群之前，需要确保满足以下条件：

• 操作系统：支持的操作系统包括 Ubuntu、CentOS 等主流 Linux 发行版 。不同的操作系统在安装依赖和配置网络等方面可能会有所差异，以 CentOS 系统为例，在安装 Kubernetes 之前，需要确保系统已经更新到最新版本，使用以下命令更新系统：

sudo yum update

• 硬件要求：至少需要两台机器，一台作为 Master 节点，另一台或更多作为 Worker 节点 。每台机器建议配置至少 2GB RAM 和 2 CPU 核心，以保证集群能够稳定运行 。如果硬件资源不足，可能会导致 Kubernetes 组件运行不稳定，影响集群的正常使用。

• 网络连接：所有节点之间需要能够互相通信，最好是在同一个局域网内 。在配置网络时，需要确保节点之间的防火墙规则允许 Kubernetes 组件之间的通信。例如，在 CentOS 系统上，需要开放 6443、2379 - 2380、10250 等端口，使用以下命令开放端口：

sudo firewall - cmd -- zone = public -- add - port = 6443 / tcp -- permanent

sudo firewall - cmd -- zone = public -- add - port = 2379 / tcp -- permanent

sudo firewall - cmd -- zone = public -- add - port = 2380 / tcp -- permanent

sudo firewall - cmd -- zone = public -- add - port = 10250 / tcp -- permanent

sudo firewall - cmd -- reload

• 时间同步：确保所有节点的时间一致，可以安装 NTP 服务来自动同步时间 。时间不一致可能会导致 Kubernetes 集群中的一些组件出现异常，例如证书验证失败等问题。在 CentOS 系统上，可以使用以下命令安装 NTP 服务并启动：

sudo yum install - y ntp ntpdate

sudo systemctl start ntpd

sudo systemctl enable ntpd

当满足上述条件后，就可以使用 kubeadm 来初始化 Master 节点。在 Master 节点上执行以下命令：

sudo kubeadm init -- pod - network - cidr = 10.244.0.0 / 16

这里的--pod - network - cidr参数指定了 Pod 网络的 CIDR，这取决于所选择的 CNI（Container Network Interface）插件，不同的 CNI 插件可能需要不同的 CIDR 配置 。初始化完成后，会输出一系列后续步骤，按照指示操作，例如配置 kubectl 工具，将其配置文件复制到家目录下：

mkdir - p $HOME/.kube

sudo cp - i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id - u):$(id - g) $HOME/.kube/config

然后安装 Pod 网络插件，Kubernetes 需要一个 CNI 插件来为 Pods 提供网络连接，常见的 CNI 插件有 Flannel、Calico 等 。以 Flannel 为例，使用以下命令安装：

kubectl apply - f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube - flannel.yml

等待几分钟，直到所有的 Pod 都变为 Running 状态 。最后，在 Worker 节点上执行 Master 节点初始化时输出的加入集群命令，将 Worker 节点加入到集群中。通过以上步骤，就完成了 Kubernetes 集群的搭建，确保集群正常运行且具备相关权限是后续部署 RabbitMQ 集群的基础。

（二）YAML 文件配置详解

在 Kubernetes 中，使用 YAML 文件来定义和部署各种资源，对于部署 RabbitMQ 集群，主要涉及到以下几种资源的 YAML 文件配置：

1. Deployment 配置

apiVersion: apps/v1

kind: Deployment

metadata:

name: rabbitmq-cluster

spec:

replicas: 3

selector:

matchLabels:

app: rabbitmq

template:

metadata:

labels:

app: rabbitmq

spec:

containers:

- name: rabbitmq

image: rabbitmq:management

ports:

- containerPort: 5672

name: amqp

- containerPort: 15672

name: management

env:

- name: RABBITMQ_DEFAULT_USER

value: admin

- name: RABBITMQ_DEFAULT_PASS

value: admin

• apiVersion：指定 Kubernetes API 的版本，不同的 API 版本对应不同的功能特性，这里使用apps/v1版本，适用于大多数常见的部署场景 。

• kind：定义资源类型，这里是Deployment，Deployment 提供了对 Pod 和 ReplicaSet 的声明式更新能力，非常适合用于管理无状态应用的工作负载 。

• metadata：包含资源的元数据信息，name字段指定了 Deployment 的名称为rabbitmq-cluster，这个名称在命名空间内必须是唯一的，方便后续对该资源进行管理和引用 。

• spec：这是 Deployment 的核心配置部分，replicas字段设置了期望的 Pod 副本数量为 3，即会创建 3 个 RabbitMQ 实例来组成集群，通过增加或减少副本数量可以实现集群的水平扩展或收缩 。selector用于定义标签选择器，matchLabels指定了选择具有app: rabbitmq标签的 Pod，这样 Deployment 就可以管理这些符合标签的 Pod 。template定义了 Pod 的模板，其中metadata.labels再次指定了app: rabbitmq标签，确保与选择器匹配；spec.containers定义了容器的配置，name为容器指定了名称rabbitmq；image指定了要使用的 RabbitMQ 镜像为rabbitmq:management，该镜像包含了 RabbitMQ 服务以及管理界面；ports定义了容器需要暴露的端口，containerPort: 5672是 RabbitMQ 用于 AMQP 协议通信的端口，name: amqp为该端口指定了一个友好名称，方便在其他配置中引用，containerPort: 15672是 RabbitMQ 管理界面的端口；env用于设置容器的环境变量，RABBITMQ_DEFAULT_USER和RABBITMQ_DEFAULT_PASS分别设置了 RabbitMQ 的默认用户名和密码为admin。

2. Service 配置

apiVersion: v1

kind: Service

metadata:

name: rabbitmq-service

spec:

type: NodePort

ports:

- port: 5672

targetPort: 5672

nodePort: 30001

- port: 15672

targetPort: 15672

nodePort: 30002

selector:

app: rabbitmq

• apiVersion：同样指定为v1，表示使用核心 API 版本 。

• kind：资源类型为Service，Service 是 Kubernetes 中用于暴露 Pod 的抽象概念，它为一组 Pod 提供了一个稳定的网络入口 。

• metadata：name指定服务的名称为rabbitmq-service。

• spec：type设置为NodePort，这种类型的服务会在每个节点上开放一个特定端口（nodePort），可以通过节点 IP 和该端口来访问服务 。ports定义了服务的端口映射，port是服务暴露在集群内部的端口，targetPort是 Pod 上实际监听的端口，nodePort是在节点上开放的端口，这里将集群内部的 5672 端口映射到节点的 30001 端口，用于 AMQP 协议通信，将 15672 端口映射到节点的 30002 端口，用于访问 RabbitMQ 管理界面 。selector通过app: rabbitmq标签选择对应的 RabbitMQ Pod，这样服务就可以将流量转发到这些 Pod 上 。

3. ConfigMap 配置（可选，用于自定义配置）

apiVersion: v1

kind: ConfigMap

metadata:

name: rabbitmq-config

data:

rabbitmq.conf: |

loopback_users.guest = false

default_user = admin

default_pass = admin

# 其他自定义配置

• apiVersion：v1版本 。

• kind：ConfigMap用于存储配置数据，这些数据可以被 Pod 挂载使用 。

• metadata：name指定 ConfigMap 的名称为rabbitmq-config。

• data：包含了配置数据，这里rabbitmq.conf是一个自定义的 RabbitMQ 配置文件内容，loopback_users.guest = false表示禁用默认的guest用户通过回环地址访问，default_user和default_pass设置了默认的用户名和密码，还可以在这个文件中添加其他自定义的 RabbitMQ 配置项 。如果使用了 ConfigMap，可以在 Deployment 的 Pod 模板中通过volumeMounts和volumes将其挂载到容器内的相应路径，使 RabbitMQ 容器能够读取这些配置。

（三）部署与验证

1. 部署 RabbitMQ 集群：在完成 YAML 文件的编写后，使用kubectl命令来部署 RabbitMQ 集群。首先，确保当前目录下包含上述编写的 YAML 文件，然后执行以下命令：

kubectl apply -f rabbitmq-deployment.yaml

kubectl apply -f rabbitmq-service.yaml

# 如果有ConfigMap配置文件，也一并应用

kubectl apply -f rabbitmq-config.yaml

kubectl apply -f命令会根据 YAML 文件的定义创建或更新 Kubernetes 资源 。执行上述命令后，Kubernetes 会根据 Deployment 的配置创建 3 个 RabbitMQ Pod，并根据 Service 的配置创建相应的服务，将这些 Pod 暴露出来 。如果在部署过程中出现错误，可以查看命令的输出信息，根据错误提示进行排查和解决。例如，如果提示镜像拉取失败，可能是网络问题或者镜像名称错误，可以检查网络连接和镜像名称是否正确；如果提示资源定义错误，需要仔细检查 YAML 文件的语法和配置是否符合 Kubernetes 的规范。

2. 验证集群运行状态：部署完成后，需要验证 RabbitMQ 集群是否正常运行。可以使用以下命令检查 Pod 的状态：

kubectl get pods

如果一切正常，会看到 3 个 RabbitMQ Pod 的状态都为Running。如果有 Pod 处于Pending状态，可能是由于资源不足、镜像拉取失败等原因导致，可以使用kubectl describe pod pod名称命令查看详细的 Pod 描述信息，找出问题所在 。例如，如果描述信息中显示Failed to pull image，说明镜像拉取失败，需要检查镜像仓库的地址、用户名和密码是否正确，以及网络是否能够访问镜像仓库；如果显示Insufficient cpu，则表示节点的 CPU 资源不足，需要调整节点的资源配置或者减少 Pod 的资源请求。

还可以通过查看 RabbitMQ 集群的状态来进一步验证。进入任意一个 RabbitMQ Pod 中，执行以下命令：

kubectl exec -it rabbitmq-cluster-xxxx rabbitmqctl cluster_status

其中rabbitmq-cluster-xxxx是 RabbitMQ Pod 的名称，执行该命令后，如果能够正确显示集群的状态信息，包括节点列表、运行状态等，说明 RabbitMQ 集群已经成功搭建 。正常的输出信息应该包含所有的节点名称，并且节点状态为running，例如：

Cluster status of node rabbit@rabbitmq-cluster-xxxx ...

[{nodes,[{disc,[rabbit@rabbitmq-cluster-0]},{ram,[rabbit@rabbitmq-cluster-1,rabbit@rabbitmq-cluster-2]}]},

{running_nodes,[rabbit@rabbitmq-cluster-0,rabbit@rabbitmq-cluster-1,rabbit@rabbitmq-cluster-2]},

{cluster_name,<<\"rabbit@rabbitmq-cluster-0\">>},

{partitions,[]}]

...done.

1. 访问管理界面：如果 Service 的类型设置为NodePort，可以通过节点的 IP 和映射的端口来访问 RabbitMQ 的管理界面。假设 Kubernetes 集群中某个节点的 IP 为192.168.1.100，在浏览器中访问http://192.168.1.100:30002，使用之前设置的用户名admin和密码admin登录，即可进入 RabbitMQ 管理界面 。在管理界面中，可以查看集群的详细信息，如节点状态、队列、交换机等，还可以进行创建队列、发送消息等操作，进一步验证 RabbitMQ 集群的功能是否正常 。如果无法访问管理界面，首先检查节点 IP 和端口是否正确，然后检查防火墙是否允许访问该端口，可以使用telnet 192.168.1.100 30002命令测试端口是否可通，如果不通，需要调整防火墙规则开放该端口。

五、对比与总结

（一）Docker 与 Kubernetes 部署方式对比

1. 部署难度：Docker 部署 RabbitMQ 集群相对简单直接 。只需安装 Docker，拉取镜像，然后通过一系列docker run命令启动容器并进行简单配置即可完成集群搭建 。对于熟悉容器概念和基本命令的开发者来说，很容易上手 。然而，Kubernetes 部署涉及到复杂的集群搭建、多种资源类型的配置以及对 Kubernetes 原理和机制的深入理解 。例如，在使用 kubeadm 搭建 Kubernetes 集群时，需要配置网络、初始化 Master 节点、安装 Pod 网络插件等多个步骤，任何一个环节出错都可能导致部署失败 。并且在编写 YAML 文件时，需要准确理解 Deployment、Service 等资源的配置参数，否则可能出现资源无法正常创建或服务无法访问的问题 。

1. 资源管理：Docker 主要侧重于单个容器的资源管理，通过docker run命令的参数可以限制容器的 CPU、内存等资源使用 。但对于多个容器组成的集群，资源的整体协调和管理能力相对较弱 。而 Kubernetes 提供了强大的资源管理和调度功能 。它可以根据节点的资源状况和 Pod 的资源请求，智能地将 Pod 调度到合适的节点上运行 。例如，通过设置requests和limits字段，可以精确控制每个 Pod 对 CPU 和内存的请求量和最大使用量，确保集群资源的合理分配 。同时，Kubernetes 还支持资源的动态扩展和收缩，根据应用的负载情况自动调整 Pod 的数量，提高资源利用率 。

1. 可扩展性：Docker 部署的 RabbitMQ 集群在扩展方面，需要手动创建新的容器并加入集群，操作相对繁琐 。当业务量增加需要扩展集群时，需要依次启动新的容器，并通过rabbitmqctl命令将其加入现有集群，容易出错且效率较低 。Kubernetes 则提供了自动化的扩展机制，通过kubectl scale命令或 Horizontal Pod Autoscaler（HPA）可以根据 CPU 利用率、内存使用率等指标自动调整 Pod 的副本数量 。例如，当 RabbitMQ 集群的消息处理量增加时，HPA 可以自动检测到负载变化，根据预设的规则自动增加 RabbitMQ Pod 的数量，以满足业务需求，大大提高了集群的可扩展性和灵活性 。

1. 适用场景：Docker 部署方式适用于小型项目或开发测试环境 。在这些场景中，对部署的便捷性和速度要求较高，且资源管理和扩展性需求相对较低 。例如，在开发一个小型的 Web 应用，使用 RabbitMQ 进行消息队列处理时，使用 Docker 部署 RabbitMQ 集群可以快速搭建环境，方便开发和测试 。Kubernetes 部署方式则更适合大型生产环境，尤其是对高可用性、大规模扩展和复杂资源管理有严格要求的场景 。例如，在电商平台的订单处理系统中，需要处理大量的订单消息，并且要保证系统的高可用性和可扩展性，使用 Kubernetes 部署 RabbitMQ 集群可以满足这些需求，通过自动扩展和故障恢复机制确保消息队列服务的稳定运行 。

（二）总结与展望

通过使用 Docker 和 Kubernetes 部署 RabbitMQ 集群，我们实现了消息队列服务的高效部署和管理 。在部署过程中，无论是使用 Docker 还是 Kubernetes，都需要注意一些要点和事项 。在环境准备阶段，要确保系统环境的兼容性和稳定性，如在安装 Docker 时，要根据不同的操作系统选择正确的安装方法，并配置好镜像源，以提高镜像拉取速度；在搭建 Kubernetes 集群时，要保证节点之间的网络通信正常，时间同步准确 。在配置过程中，要仔细设置各项参数，如 RabbitMQ 的用户名、密码、虚拟主机等，以及 Kubernetes 中 Deployment、Service 等资源的配置参数，确保配置的正确性和安全性 。

展望未来，随着技术的不断发展，RabbitMQ 集群部署技术也将不断演进 。一方面，容器技术和容器编排工具将持续优化和创新 。Docker 可能会在资源隔离和安全性方面进一步加强，提供更完善的容器运行时环境；Kubernetes 则可能会在自动化管理、跨云部署等方面取得更大的突破，使其在不同云平台上的部署和管理更加便捷 。另一方面，RabbitMQ 自身也可能会引入新的特性和功能，以更好地适应不断变化的业务需求 。例如，在消息处理性能、集群扩展性和可靠性等方面进行优化，使其在分布式系统中发挥更加重要的作用 。我们开发者需要持续关注这些技术的发展动态，不断学习和掌握新的知识和技能，以更好地应用于实际项目中 。

六、参考资料

1. RabbitMQ 官方文档：提供了 RabbitMQ 的详细功能介绍、配置指南以及集群搭建等方面的权威资料。

1. Docker 官方文档：包含了 Docker 的安装、使用、镜像操作以及容器管理等全面的文档，是学习和使用 Docker 的重要参考。

1. Kubernetes 官方文档：详细介绍了 Kubernetes 的架构、组件、资源管理、部署应用等内容，对于深入理解和使用 Kubernetes 非常有帮助。

1. K8s 利用 docker 快速部署 RabbitMQ 集群：该博客详细记录了使用 Docker 在 Kubernetes 环境中部署 RabbitMQ 集群的步骤和要点。

1. kubernetes 部署 rabbitmq 集群：分享了在 Kubernetes 上部署 RabbitMQ 集群的实践经验，包括环境准备、镜像处理以及 YAML 文件配置等内容。