K8S数据平台部署指南

发布于:2025-07-04 ⋅ 阅读:(19) ⋅ 点赞:(0)

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨Gitee组织:https://gitee.com/alldatacenter

摘要:K8S数据平台基于开源项目CloudEon,是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。文章内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、云生态部署方案
五、访问K8S数据平台页面

💡Tips:关注「公众号」大数据商业驱动引擎

在这里插入图片描述
🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码

在这里插入图片描述
在这里插入图片描述
1.1 K8S数据平台基于开源项目CloudEon建设

K8S数据平台CloudEon是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。

CloudEon将基于Kubernetes 的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,您可减少对于底层资源的运维关注。

功能特性快速搭建大数据集群容器化运行大数据服务支持监控告警等功能支持配置修改等功能自动化运维可视化管理界面

🔹CloudEon开源项目:https://github.com/dromara/CloudEon
🔹更多教程可以参考官方教程文档:https://cloudeon.dromara.org/#/index

2.1 K8S数据平台功能特点:

  • 快速搭建大数据集群
  • 容器化运行大数据服务
  • 支持监控告警等功能
  • 支持配置修改等功能
  • 自动化运维
  • 可视化管理界面
  • 灵活的扩展性

在这里插入图片描述
💡部署步骤:
在这里插入图片描述

3.1 源码编译部署获取安装包
在这里插入图片描述
3.2 后端源码获取安装包
在这里插入图片描述
在这里插入图片描述
3.3 前端源码编译部署
在这里插入图片描述

在这里插入图片描述

4.1 环境准备
🔹操作系统要求:
Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹资源要求:
CPU:至少 4 核。
内存:至少 8GB。
磁盘空间:至少 50GB(用于编译和运行)。

🔹依赖工具:
Go:1.18+(CloudEon 核心组件为 Go 编写)
Docker:20.10+(用于构建和运行容器)。
Kubernetes:1.22+(集群环境)。
Helm:3.0+(用于 Kubernetes 包管理)。
Git:用于源码管理。
make:用于自动化编译。

4.2 安装GO:
在这里插入图片描述

4.3 安装Docker:

在这里插入图片描述
4.4 安装Kubernetes和Helm:

参考 Kubernetes 官方文档安装 kubectl 和 minikube(本地测试)或集群环境。
安装 Helm:
在这里插入图片描述

4.5 源码编译部署获取安装包
在这里插入图片描述

4.6 编译CloudEon核心组件
在这里插入图片描述

4.7 构建Docker镜像
修改 Dockerfile(如需自定义镜像标签):
在这里插入图片描述
构建镜像:
在这里插入图片描述

4.8 部署到Kubernetes

使用 Helm 部署:
在这里插入图片描述

🔹手动部署(YAML 文件):
创建 Namespace:
在这里插入图片描述
部署 Deployment 和 Service:
在这里插入图片描述
示例cloudeon-deployment.yaml
在这里插入图片描述

4.9 验证部署

检查 Pod 状态:
在这里插入图片描述
Tips: 查看日志:
在这里插入图片描述
🔹访问CloudEon服务:

  • 端口转发
  • 访问地址:浏览器访问 http://localhost:8080。

在这里插入图片描述

4.10 配置修改

🔹修改配置文件(如需):

配置文件通常位于 config/ 目录,或通过 Kubernetes ConfigMap 管理。

在这里插入图片描述

5.1 集群管理
在这里插入图片描述

5.2 修改集群
在这里插入图片描述

5.3 节点
在这里插入图片描述

5.4 新增节点
在这里插入图片描述

5.5 服务
在这里插入图片描述

5.6 服务详情
在这里插入图片描述

5.7 新增服务-选择服务
在这里插入图片描述

5.8 新增服务-分配角色
在这里插入图片描述

5.9 新增服务-配置服务
在这里插入图片描述

5.10 编辑配置项
在这里插入图片描述

5.11 镜像
在这里插入图片描述

5.12 资源管理
在这里插入图片描述

5.13 常用参数
在这里插入图片描述

5.14 端口
在这里插入图片描述

5.15 添加自定义配置
在这里插入图片描述

5.16 指令
在这里插入图片描述

5.17 指令详情
在这里插入图片描述

5.18 指令详情-日志信息
在这里插入图片描述

5.19 告警-活跃告警
在这里插入图片描述

5.20 告警-历史告警
在这里插入图片描述

5.21 告警-告警规则
在这里插入图片描述

5.22 新增告警规则
在这里插入图片描述

5.23 修改告警规则
在这里插入图片描述

5.24 日志
在这里插入图片描述


网站公告

今日签到

点亮在社区的每一天
去签到