【集成化】做的事只有一件:把电源、风扇、管理模块从【每台一份】变成【一整箱一份】——所以同样一个 42U 机架,刀片式能装 64 个刀片、2048 核,而 1U 机架式只有 40 台、1280 核;代价是故障域变大、绑定加深、扩展槽变少。
上一节(4-1)讲的是机器放在哪;这一节往下走一层,讲这些机器怎么摆得又多又密。
第一章的 云计算的服务器都是机架式或高密度式 已经把【机架式】【高密度式】这两个形态交代过了,那一节算的是一个机架能装多少台、多少核;这一节要讲的是为什么要这么装——也就是【集成化】这个动作本身在解决什么问题、又要付什么代价。两节合起来才完整:1-8 讲结果,这一节讲动机。
一、【集成化】到底是把什么合起来了
先说清楚一个容易误解的地方:集成化不是把计算能力合起来。
每台服务器(或每个刀片)仍然有自己独立的 CPU、内存、硬盘、独立运行自己的操作系统——算力是一台一台独立的,没有合并。合起来的只有支撑部件:
| 部件 | 传统 1U 机架式 | 刀片机箱 |
|---|---|---|
| 电源 | 每台自带 2 个 | 一箱 6 个,箱内所有刀片共用 |
| 风扇 | 每台自带 1 组 | 一箱 1 组 |
| 管理模块 | 每台一个管理口 | 一箱一个管理模块,统一管 |
| 到机架顶的网线 | 每台 2 根 | 一箱 8 根(箱内背板互联) |
| 机箱本身 | 不需要 | 需要,10U 装 16 个刀片 |
为什么合这几个部件能省出这么多:
- 电源和风扇是【按机箱总量配】的。16 台独立服务器要配 32 个电源、16 组风扇;一个刀片机箱只配 6 个电源、1 组风扇——因为它知道这 16 个刀片不会同时满载。这跟 1-7 讲的超售是同一个思路:按统计规律配资源,而不是按最坏情况配。
- 管理模块合起来,管理成本断崖式下降。40 台独立服务器要 40 个管理口、一台 KVM 切换器、40 条管理配置;4 个机箱各一个管理模块,管一个模块就等于管了 16 个刀片。这直接对应 1-11 里那张【手工管 500 台要 416.7 小时、控制器只要 35.0 小时】的账。
- 线缆数量少一个数量级,这在天花板下、地板下的走线管理上是实打实的收益。
二、高密度:把每一个 U 都填满
【高密度】是同一个方向的另一种做法:不改变单台机器的形态,而是让同样高度的机架里塞进更多节点。
常见的手段有三种:
- 1U 单路、2U 双路的高密度机型——把机箱做薄、把风道做直
- 多节点服务器(如 2U 里放 4 个独立节点,各自独立供电与启动)
- 整机柜交付——机柜、供电、制冷、交换在工厂里配好,到场插上就用
为什么这事值得专门做:因为机架的物理高度和供电能力是有限的。一个 42U 机架,高度用完了就是装不下了;而机柜的电力上限通常是十几千瓦到几十千瓦(1-10 里算过一个机架的 8.3 kW 与 83.0% 的 UPS 负载率)。所以【密度】这件事有两个天花板:U 数和电。
| 天花板 | 说明 | 先撞到哪个 |
|---|---|---|
| 高度(U) | 42U 装完就没了 | 低密度机型先撞这个 |
| 电力(kW) | 机柜供电上限 | 高密度机型先撞这个 |
| 承重 | 楼板每平方米承重 | 装满盘的高密度机型 |
这三个天花板里,先撞到哪个就说明该换哪条路:如果机架没装满但电用完了,说明该上更省电的机型;如果电还有余量但装不下了,说明该上更高的密度。
三、动手 Demo:两种装法,同一个机架
看到什么算成功:
==================================================================================================
【Demo 2】服务器的集成化:同样是 42U,刀片比机架式多装多少
==================================================================================================
场景:一个 42U 标准机架,两种装法都留 2U 给交换机,用掉 40U。
项目 机架式(1U × 40 台) 刀片式(10U 机箱 × 4,每箱 16 刀片)
--------------------------------------------------------------------------------------------
服务器数量 40 台 64 个刀片
CPU 核数 1280 核 2048 核
电源模块 80 个(每台 2 个) 24 个(每箱 6 个,4 箱共用)
风扇组 40 组(每台 1 组) 4 组(每箱 1 组)
管理接口 40 个,另配 KVM 切换器 4 个(机箱管理模块统一管)
网线到机架顶 40×2 = 80 根 4×8 = 32 根
--------------------------------------------------------------------------------------------
CPU 核数按【每台或每刀片双路共 32 核】算:40 × 32 = 1280,64 × 32 = 2048。
【集成化】这个词的含义就在这里:把电源、风扇、管理模块从【每台一份】
变成【一整箱一份】。省下的不只是钱,还有线缆、故障点和上架工时。
代价也要算:
· 一个机箱的背板坏了,里面 16 个刀片一起下线(故障域变大)
· 机箱与刀片通常要同一家买(锁定加深)
· 单刀片的扩展槽少,接不了太多外设卡
结论:节点数上到几十台时,集成化的收益明显;只有三五台时,
1U 机架式的【买来就能用】反而更省事。
读结果:
- 看最后两行。这张表两边各有各的强项,所以教材讲的是【云计算的服务器都是机架式或高密度式】——不是二选一,是没有第三种。因为只有这两种形态才谈得上【按机架为单位规模部署】。
- 看【管理接口】那一行:40 个变 4 个,这才是云服务商最在意的一栏。机器多了之后,运维成本是按台数线性增长的,而集成化是少数能把这条曲线压平的手段。
30 秒实验
打开任意一家服务器厂商的产品页(比如搜【刀片服务器 机箱 刀片数】),做一件事:
找一个刀片机箱的规格页,看两个数字:机箱高度(多少 U)、能装多少刀片。
然后心算一下:如果换成 1U 服务器,同样的 U 数能装几台?
做完这个,你会看到集成化的 1.6 倍关系(64 对 40)不是特例,而是这一类产品的共同特征——多出来的那 24 个节点,就是省下来的电源、风扇和管理模块占掉的空间。
常见误区
-
错误:刀片服务器是把 16 台机器合并成一台,算力更强了。——纠正:算力完全没变,只是外壳合起来了。16 个刀片仍是 16 台独立机器,各自开机关机、各自装系统、各自坏。集成的只是电源、风扇、管理模块这些【支撑件】。 把这件事搞混,后面理解【一个机箱背板坏掉会连带 16 台】时就会想不通。
-
错误:密度越高越好,反正都是在省钱。——纠正:密度是被电和承重卡的。装得越密的机架,单位体积的发热越大,对制冷的要求越高;而且高密度机型经常先撞到机柜的电力上限,结果是有机位但没电用。所以【上高密度】之前要先算三笔账:U 够不够、电够不够、楼板承重够不够。
-
错误:集成化只影响采购成本,跟运维没关系。——纠正:运维才是主要受益方。电源、风扇、管理模块的故障率在整机故障里占比很高,而集成化把这些部件的数量从【每台一份】降到【每箱一份】——故障点少了,巡检项目也少了。看那张表的管理接口一行:40 个变 4 个,省下的巡检工时是按年累加的。
-
错误:机箱和刀片可以随便选不同厂商的牌子混着用。——纠正:通常不行,或者会失去管理能力。机箱与刀片之间有背板、供电、管理的私有接口,跨厂商风险很高。这就是集成化的代价之一:省了部件,换来更深的绑定——而这正是 2-12 讲【开源化】时想解决的问题。
自测三问(点开对答案)
1. 为什么云服务商的服务器【不是机架式就是高密度式】,没有第三种? —— 因为**只有这两种形态是按【机架】为单位设计的**。云服务商的采购和管理动作都以机架为单位:一个机架多少 kW、多少个管理口、走线怎么走。**一台塔式服务器或者一台大型机,没法参与这套按机架编排的体系。** 所以形态的收敛不是审美问题,是**规模管理方式的必然结果**。 2. 集成化省下的电源和风扇,为什么可以省?不会有风险吗? —— **有风险,靠两件事兜住**。第一是按统计配置:16 个刀片不会同时满载,所以 6 个电源能供得起;第二是冗余,6 个里坏 1 个还有 5 个。**这跟 1-7 讲的超售是同一类做法**——用【不会同时到峰值】这个规律换资源。所以前提是**负载确实不同时峰值**;如果这 16 个刀片跑的是同一批任务的同一时刻,那这套假设就不成立,机器会集体降频。 3. 高密度机型先撞到的往往是电力上限而不是 U 数,这个事实最实际的启示是什么? —— **预算要花在【单位电力的计算能力】上,而不是【单位空间的机器台数】上**。既然电是瓶颈,那选型时的核心指标就应该是【每瓦能出多少核、多少吞吐】,而不是【1U 能塞几台】。**这个视角也解释了后来为什么数据中心要盯着 PUE 看**——电用在了制冷上,就等于算力被扣掉了一块。- ☐ 下一节(4-3 支撑云服务的技术③ 虚拟化技术:VMWare、KVM)
相关笔记
- 支撑云服务的技术① 数据中心 —— 上一篇:这些机器放在什么地方
- 云计算的服务器都是机架式或高密度式 —— 一个机架能装多少台、多少核
- 机架中的系统组成 —— 机柜的电力与散热上限
- 控制大量服务器的机制 —— 从手工到控制器:管得越多,单位成本越低
- ☁️ 云计算 · 索引 —— 全课路线图