Minio-性能测试案例
一、概述
1.官方介绍
官网提供的基准线测试地址: New MinIO NVMe Benchmark: 2.6Tbps on GET and 1.6Tbps on Write
官网的测试基准的硬件配置是真的高，能达到的性能也是真的强。这里主要是和大家展示其上限。我的实际环境只有HDD机械硬盘，并且使用的华为服务器，磁盘必须做RAID矩阵，对Minio也有很多影响。
二、测试环境
1.1 硬件环境
1. 硬件选择
官网的硬件推荐:Selecting the Best Hardware for Your MinIO Deployment
该链接给出了推荐硬件选择,这里硬件除了越大越好原则以及固态优先原则外，需要注意磁盘阵列不用RAID矩阵，而是JBOD【对写入影响很大！】。影响因素如下表:
| 影响因素 | 需求 | 影响程度 | 备注 |
|---|---|---|---|
| 磁盘 | SSD | 重 | IO更快 |
| 磁盘文件格式 | XFS | 重 | 强烈建议配置 XFS 格式的驱动器用于存储。 MinIO 使用 XFS 作为内部测试和验证套件的一部分，为所有规模的性能和行为提供额外的性能。 |
| 集群磁盘大小 | 一致 | 中 | MinIO 将每个磁盘使用的大小限制为部署中的最小磁盘 |
| 集群磁盘文件格式 | 一致 | 重 | 因为某些磁盘具有不同或更差的读/写特性 |
| 磁盘矩阵 | JBOD | 重 | RAID允许某个磁盘损坏，但是性能差 |
| 内存 | 32G | 中 |
我的测试硬件为:
| Node1 | Node2 | Node3 | |
|---|---|---|---|
| Minio磁盘文件格式 | XFS | XFS | XFS |
| 磁盘矩阵 | RAID5 | RAID5 | RAID5 |
| 磁盘大小 | 10*8T HDD | 10*8T HDD | 10*8T HDD |
| 内存 | 125G | 125G | 125G |
| 网络 | 10GB | 10GB | 10GB |
1.2 软件环境
Docker-compsoe部署Minio:我这是部署案例,我是测试是3台服务器集群。
version: '3'
services:
minio:
image: minio/minio
hostname: 'minio'
network_mode: host
environment:
TZ: Asia/Shanghai
MINIO_ROOT_USER: admin
MINIO_ROOT_PASSWORD: admin123
volumes:
- /etc/hosts:/etc/hosts
- ./data:/data
command: server --console-address ':9001' http://ip/data
privileged: true
restart: always
官网部署档:https://min.io/docs/minio/container/operations/installation.html
二、测试工具
考虑使用WARP【官方推荐的客户端测试工具,可以用非服务节点作为客户端发送压测数据】 和 Speedtest【就是其内部的MC测试方式】 对 MinIO 进行基准测试。基于网络客户端和服务器实例两种场景。
Minio分布式，RAID5测试，压测工具WARP。
1.S3_HTTP_PUT上传数据压测：
| 32并发,64MB文件对象,PUT S3接口 |
|---|
 |
|
| 网络IO |
| 磁盘IO |
2. MC测试
| 节点 | 写入速率 | 备注 | 测试工具 |
|---|---|---|---|
| 231/232/233 | 104-200.45 MiB/s | 3个minio节点(其他服务均无负荷) | mc(负载均衡) |
三、测试结果
建议使用RAID0代替RAID5,提升IO性能,舍弃数据冗余。单机情况下需要考虑数据备份，集群情况下基于纠错码恢复数据,多节点磁盘损坏可能导致数据丢失。硬件的选择对Minio有很大影响,之后我测试了RAID0，单节点磁盘写入能达到1GB/S的速率,但是不容忍磁盘损坏。