前言:本文将以日记的形式记录一套企业级虚拟化平台是如何从无到有,从0到1的。以第一人称视角,将该业务的搭建流程和本人的心路历程,以时间线的发展进行记录、总结。考虑到本文也许会有少量的受众,笔者将尽可能运用通俗、具象、甚至修辞手法来将此事描述清楚。特别强调,本文非技术文档、非专业指南,仅供参考。
2022.07.21——机缘巧合,接手设备
设备入手的机缘开始于6月,是即将要从其他业务上撤下来的一批设备,业务停了,这批固定资产计划被安排进仓库吃灰。据悉,之前的业务是一套C/S架构系统,类似于酒店流动人口登记系统,外加一个门户网站,据说流量都不大。当时以为,几台常规的2U机架服务器足以满足要求。
7月21日是我正式“面见”这套设备,按照我当时的理解:这应该是一组集群服务器,外加一台存储服务器,一台防火墙,一台WAF,一台接入交换机。按现在严谨的说法是:一架华为FusionServer E9000 Chassis融合架构刀片服务器(搭载6个计算节点),一台宏杉(MacroSAN)MS2500G2混合闪存存储,华为S5720管理型交换机,防火墙和WAF没用到,本文不做讨论。
考虑到服务器和存储是本文的核心底层设备,因此从官方的角度再介绍一下:E9000服务器,集计算、存储、网络、管理为一体,多用于虚拟化、核心业务、高性能计算等方面;MS2500存储,入门级混合闪存存储,满足数据库、虚拟化桌面和服务器虚拟化等场景,针对企业级数据的高效治理。
面见当天,只是觉得东西比较齐全,比先前预计的“高级”、“先进”不少(在此之前确实没摸过12U的服务器=。=)当天的想法是:东西还不错,研究研究再进仓库不迟。
2022.07.25——拆!!!
好巧不巧,最近正在研究虚拟化相关的底层建设。自打见了这套设备,心里就多了一档子事,心底里不由自主地想要把这俩事结合起来,想的多了甚至还有点窃喜。因此,这两天有事没事就是上官网查资料,看文档。那台12U的服务器不愧于它的份量(用尽全身力气刚刚可以略微拖动它),不光对我的体力造成了冲击,还有我的心理...
不行,按耐不住了,下去再看看!(机房在B1层,日常在高层办公)这次是带着好奇心和官方文档来的,我要对这个“大家伙”一探究竟。原来,这个大家伙目前只是个“空壳”,也就是空机箱。旁边它的“儿子”又称“计算节点”,目测大概尺寸能对上。开搞!
根据以往经验结合现场信息,我决定先从“儿子”下手,因为从零开局一个硬件或是一套系统,往往是由小到大,从局部到全局的思路。细看一下,“儿子”身上就带着被拆的说明...打开机盖之后,如我所料:CPU,内存条,硬盘,电源,主板...这不就是传统服务器的架构么?数了一下,现场有6个这样的“儿子”。所以,这应该是搭载了6台计算节点的刀片型(插槽型)服务器。继续看,确实是精致,不得不说大厂做东西还是讲究,内存条的防尘罩、主板上蚀刻的logo、CPU上压的散热铝板凉凉的...
那么这6个计算节点应该就是从这个大家伙前面的槽位插进去了。“咔嗒”一声,计算节点严丝合缝地插入了机箱的插槽。不论从做工、精密程度和集成度、甚至是手感上都能感受到,这一套价格不菲。大机箱的背面插着各种各样的板卡,标着MM、CX110等字样(这都是啥=。=),接口几乎都是网口,另外还有风扇模块、电源模块的插槽。拆下来看看开开眼...
差不多研究完服务器的物理构造之后,我决定在现场继续收集些“线索”。在这个时候,我已经萌生了把这个东西“盘活”的想法。拆回来的网线研究了一下,并不复杂(这个线签真的是雪中送炭),服务器北向连接了交换机南向连接了存储,服务器与存储大概是交叉互联,主备并行的思路。捋线的行为虽然比较繁琐,但对于之后的架构复原或是重构都有很高的参考价值。
今天现场研究到这了,虽然正值盛夏,机房里的冷气还是要把人冻透。出机房的瞬间,我有些“发现新大陆”般的兴奋。此时我决定,开局!把这套东西搞起来!
回到工位,我开始行动起来:官网查资料(华为客户权限还是比较容易申请的,随便绑个设备的SN码,你想要的文档基本都能从官网获取到,力荐!)、CSDN大神开局指导、典型案例分析、避坑指南、贴吧论坛、知乎简书、400售后技术支持...
站在技术角度,我认为该对上述不专业的说法做个补充:上面提到的“大家伙”,学名一体化机箱,除提供电源、风扇等基本功能外,还提供核心IO主板(主要针对物理板卡与计算节点之间的IO)。计算节点就是上述的“儿子”,不同的角度又称为刀片服务器、node、slot节点。MM即manage module,是提供服务器管理接口的板卡,该服务器配备2张管理板卡,MM1、MM2为主备模式,两种出接口方式:一种直插模式,一种通过交换板卡出。交换板卡就是上述的CX110,也就是SW(模块),因此可以理解为该服务器自身集成了两台12口交换机。本段旨在为上述“白话”做个补充说明,但相对于其内部的门道可谓是冰山一角,后续择时讨论。
2022.07.31——亮!!!
经过四天的摸索,对于机器的物理结构和机械构件已是胸有成竹。同时,内心对于下一步的探索也跃跃欲试,于是今日我决定将其上电点亮。下到机房,二话不说开始组装剩余设备,刀片(Node)入轨、风扇归位、板卡进槽、检查电源与环境OK——上电!这里说明一下,E9000搭载了6个电源模块,满载16个半宽计算节点(或8个全宽)。而我只有6个半宽节点,因此不需要6个电源模块跑满,但为了“煲机”,暂时让机器全功率洗礼一下。(6个电源模块是左三右三分布,规范的接电是左侧一路电,右侧一路电。标准机房都是双路电,一般是主备两路电,或一路UPS)。
插入第一颗电源之后,风扇即刻就转了起来。紧着其余5颗电源陆续接通,机箱进入初始自检状态,风扇暂时进入全速运转状态,噪音很大。前面板指示灯,后板卡指示灯随即点亮、闪烁。
该机箱前面板底部,自带一个LCD液晶触摸屏,可做开局基础配置和查看警报。输入用户密码进入配置界面。可查看设备前后面板状态、配置基本设备信息、网络配置、警报查看与消除等。可以看到之前的网络配置信息还在,管理浮动IP:192.168.4.22,主管理板卡(MM1)静态IP:192.168.4.23,备管理板卡(MM2)静态IP:192.168.4.24。说明一下:浮动IP即Floating IP,是登录服务器WebUI管理界面的IP地址,也是SSH登录的Host IP地址。主备板的静态IP地址(StaticIP)是各自板卡的固定IP地址,也是该板卡MGMT接口的IP地址。客户端/管理端通过WebUI的方式访问.22和.23地址时,均可以进入该设备的Web MMH管理后台,登录备管理板卡的IP时,则只能查看设备的部分信息,无管理权限。
为便于管理并适于现有办公网络,将上述管理三个IP地址变更为192.168.68.22-24。
至此,E9000服务器已被我从“冷宫”的边缘挽救回来。从计算节点内的内存起步,开启了本次的虚拟化建设之旅。
——津湾CIO
(后续更新时间不定,最近比较忙=。=)更多内容请关注本人公众号。