绿电供应链
赛尔电气
1 引言
数据中心(Data Center)通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理，而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。
关键设备运行所需要的环境因素，如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。
绿色数据中心是信息技术整体的集合，每个子系统都是复杂而庞大的，本文仅针对绿色数据中心基础设施环节的规划与设计。
2 绿色数据中心基础规划
绿色数据中心是数据中心发展到一定阶段的必然需求，它是涉及数据中心整体的系统问题，包括机房选址、楼体建筑、机房布局、空调、UPS供电、服务器等IT设备、应用系统和数据管理效率等全方位的问题。
绿色数据中心解决方案主要有三个层面：
(1)物理环境层面，包括机房、空调等;
(2)是IT设备层面，包括服务器、存储等，解决方案如服务器虚拟化、芯片性能能耗比提高等;
(3)是数据应用管理层面，包括应用系统与数据库，解决方案如应用系统整合、信息生命周期管理等。
本文仅讨论数据中心物理环境层面及基础设施的规划对于构建绿色节能数据中心的思路与方法。
2.1 数据中心机房选址
2.1.1 数据中心机房位置
(1)交通运输方便
机房建设时会有大量的建筑材料、装修材料需要运输，机房建成后则有大量的机器设备需要运入，因此运输问题是数据中心机房不得不考虑的问题，如车辆的通行问题，大型设备进出的通道问题，地面的承重问题等都是不容忽视的。通讯方便及安全主要指光纤、电缆等通讯介质的接入以及日后使用中的安全可靠性等。
(2)地域选择
避免建在日后可能被城建拆迁的区域，如建在城建濒临拆迁的区域，机房刚建好不久就面临拆迁肯定是件痛苦的事情，而即使不拆迁，碰到周边大规模施工，对机房的威胁也是不小的，因为施工中挖断电缆等事故是并不少见的事情。
(3)楼层位置
对于大楼内部的楼层、部位的选择，则须符合以下几项条件：
①最好建在大楼的二、三层，因为，楼层太低(如一层或地下室)因地势低洼，容易引发水患等不测事故，也容易遭受鼠虫白蚁等的祸害，另外对洁净新风的引入、消防排烟通道的建立等也会增加一定的难度。如果楼层太高，则容易导致设备搬运不便(有些大型设备电梯不一定能用)，而且建筑物的顶层容易漏水和招致雷击，电磁屏蔽性能也比较差，楼层高的地方动力电缆上下距离过长不但给施工带来困难，而且电缆线阻相对增加，线路损耗也大，影响供电质量与成本，另外楼层太高的地方往往容易断水，使精密空调机组的加湿工作无法进行，此外，设在层的机房还因顶层的隔热效果差而导致机房的能耗大大增加。
②每一台精密空调都有一台室外机组(冷凝器)机安装的环境往往直接影晌到精密空调的制冷效果。因此，对于精密空调外机的安装也需予以必要的考虑，一般精密空调外机多安装于裙楼顶层或大楼顶层的平台等通风散热比较好的地方，而其与内机的距离则一般为外机往上l2m(约3层楼)，往下4m(约1层楼)，距离太长效果就差;因此，在楼层选择方面对此也需给予充分的考虑。另外，对于空调室外机没有条件放置在纯户外环境的情况下，对于其空调室外机的散热与排风系统需要做出准确计算，保证不会因为其工作环境温度过高，造成室外机过热保护停机，影响机房正常制冷效果。
③对于机房的排烟口和排废气口，一般来说，排烟口应设在机房的上方，排废气口应设在机房的下方。例如，机房的气体消防事故排风口，应在机房墙体靠下方位置。
④机房还应尽量避免设在建筑物用水楼层的下面，食堂、洗衣房、浴室等用水量大的场所难保不发生泄漏。当选择数据机房位置时，避免受建筑物组成部分(如电梯、框架、外墙或其他建筑物的固定墙)限制，而不能扩展的地方。
2.1.2 数据中心建筑设计
(1)建筑规模
数据机房的规模必须满足已知的特殊设备包括适当的空间要求，可以从设备供应商处获得这些信息。规模还应该考虑未来的发展，就如考虑现在的要求一样。入口房间必须满足已知的和未来的最大需求。
①为接入运营商和园区线缆使用的入口路径。
②为接入运营商和园区线缆使用的背板和框架空间。
③接入运营商机架。
④位于入口房间、客户拥有的设备。
⑤进入数据机房的路径、主要分布区域和可选的、第二入口房间的水平分布区域。
(2)其他设备的指导思想。电器设备，如电源分配单元或空调系统，以及100kVA以下的UPS应该允许安装在数据机房内，但是后备电池除外。大于100kVA的UPS和任何包含备用电池的UPS应该被安置在一个分开的房间，除非另有要求。与数据机房的支持无关的设备(如管道系统、气动导管等)禁止安装或穿过数据机房。
(3)胶合板。如果墙面提供安装保护器，墙面应该装饰有坚硬而固定的20mmA-C胶合板(2.4m高)，能够做到墙面无缝隙并支撑附着在上面的连接硬件。胶合板即使耐火，也需要喷刷两遍防火漆。如果采用的耐火胶合板被喷漆，在查验前，喷漆不能遮盖耐火标记。为减少变形，耐火胶合板必须是保持表面干燥的，并且必须保证湿度不超过15%。
(4)天花板高度。数据机房最小高度，从地面到任何障碍物(如喷淋装置、固定照明设备、建筑框架或固定摄像头)不小于2.6m。有冷却需求或机架、机柜高于2.2m时，要求更高的天花板高度。从喷淋头到天花板应保留至少460mm。
(5)装修处理。地面、墙和天花板必须被密封、喷漆或采用其他方式以减少灰尘。应采用浅颜色以增加房间亮度。地面必须具有抗静电功能，与IEC 6100-4-2要求相一致。
(6)照明用电：机房区18W/m2～20W/m2，辅助区7W/m2～10W/m2。照明必须达到在水平面上最小5001ux和在垂直面上2001ux，测量位置应在机柜之间通道的中央，地面以上lm处。照明装置不应该从所安装位置的数据机房供电，并且不能使用调光器。应急照明和指示灯必须按照用户认可的方式，以保证缺少主要照明时，将不妨碍紧急疏散。
(7)门必须是最小lm宽、2.2m高，没有门槛，向外推开(需要密码才允许进入)或可移开的。门必须装配锁，但是不能有固定的中柱，以便大型设备进入。
(8)数据机房的地板载重能力必须充分考虑以能够承受安装各种设备和媒介的分布荷载和集中荷载。最小的地板载重能力必须是7.2kpa，推荐的地板载重能力是12kpa。地板还要求有一个最小1.2kpa的悬挂能力，用来支持下层的悬挂负荷(如地板下的、下层天花板上悬挂的线缆梯)。推荐的地板悬挂能力是2.4kpa。
(9)安全授权应该结合建筑物的安全计划来开发。适当的出口安全授权必须按照用户的要求来设置。
(10)更多关于抗震的设计说明请参考数据中心机房所处地区相关资料。
(11)当有水浸入的危险存在时，必须提供一种排水的方法(如一个地面排水沟)。此外，每100m^2应该提供一种或多种排水方法。任何通过房间的水和排水管应该被设置在较远的位置，而不是直接在设备的附近。
2.2 数据中心机房设备布局规划
数据机房是多功能、多专业的系统工程，除电子计算机系统的各类设备外，还有各类环境保障设备，只有合理的规划设备布局，才能充分发挥各子系统的功能，便于今后的扩充，方便运维人员的管理，节省投资。设备布局建议考虑如下原则：
(1)主机、存储设备、服务器机柜宜分区布置，主机、存储设备、服务器机柜及UPS、空调机等设备应按产品要求留出检修空间，允许相邻设备的维修间距部分重叠。
(2)设备之间走道净宽不应小于1.2m。
(3)合理规划分阶段进入机房的设备及预留扩充设备的相对位置，既要符合计算机系统的工艺流程，又要方便今后扩充设备的进场就位及线缆的连接。
(4)服务器机柜侧面可无间距排列以便于强、弱电线缆的敷设。每排机柜之间的距离最好符合地板模数，以避免机柜前后出现小于300mm的补边地板。
(5)放置发热量较大的服务器如IBM690、670等服务器机柜时，其机柜前面之间的净距离不应小于2.lm，以免热密度太高从而影响设备的散热。
(6)设备较多的服务器机房建议列头柜方式，使综合布线线缆汇集到列头柜而不是核心柜，从而节省双绞线与光纤，同时便于使用二级网络交换设备，也便于安装使用服务于某列机柜的KVM系统。
(7)新风机的安装位置应保证新风是取自室外新鲜、清洁的空气，新风人口应不影响大楼外观，迸风口下缘距室外地坪不宜小于2m;当新风入口设在绿化地带时，进风口下缘不宜小于lm，以减少尘埃污染，延缓空气过滤器的清洗时间，延长空气过滤器的寿命。
(8)机房精密空调机在有效送风距离内，送风方向应与设备排列方向一致;采用地板下送风方式时，空调机送风方向应与地板下强、弱电线槽顺向布置的方向一致，以减少空调系统的阻力、充分发挥空调系统效率。
(9)排风机安装位置应保证其排风口高于新风入口并避免送风、排风短路。
(10)新风管道的送风口位置应使新风与空调机回风充分混合。
(11)配电柜布置宜靠近末端负载以减少线缆，方便维护管理。
(12)应有畅通的疏散通道。
(13)鉴于市场上主流服务器及服务器机柜的散热方式大多数为前后向通风方式，因此前后向通风的服务器机柜宜采用面对面、背靠背的布置方式。在机柜正面布置地板送风口，使气流形成冷热通道，以减少前排机柜排出的热气流对后排机柜的影响，充分发挥空调系统的效能。
3 数据中心增效节能技术
3.1 数据中心建筑装饰
机房装修工程主要考虑降噪、隔热、防尘、防静电、防漏水设施、隔热、保温、防火、防鼠害等。
(1)吊顶内墙面隔热防尘。
(2)墙面隔音、隔热保温、防火防磁处理。
(3)防静电活动地板、承重1.2T/m2、地面防尘隔热防潮处理。地板架空高度300mm～800mm，风口地板要预留备用块。地板到天花板净高度2600mm～3200mm。
(4)机房环境温度范围(20℃～25℃，推荐21℃)，湿度范围(40%～55%)。
(5)机房主入口防火门采用甲级钢制防火门(不少于 )。
(6)机房内设置漏水报警系统，精密空调机四周做挡水坝。
(7)保温处理方式，精密空调区地板下铺设20mm厚保温板，吊顶内作10mm厚保温板。
(8)机房主体建筑外形工整，体型简洁，尽量减小外墙面积。增强建筑围护结构的保温性能和隔热性能，保证机房内的环境参数。
(9)主机房不设外窗，通过走廊、空调机房与建筑物外墙隔开，减少太阳辐射热和室内外能量交换，同时也有利于机房的安全。
(10)辅助区域卫生间选用节水型洁具，节约用水。
3.2 模块化机房设计
小型数据中心也可以采取一种更为简化的方案，即将模块化配电柜直接集成于UPS系统，构成一个可安放于IT房间并与IT机柜排成一行的紧凑部署方案。这样便可以省去利用主母线布线环节，同时也无需额外准备电源安置空间。这种适用于200kW及以下功率的数据中心方法操作方便，倍受欢迎。
现有数据中心的升级往往涉及许多个数据中心项目，扩容或安装高密度区域项目是其中最为普遍的。相比安装传统的配电柜，模块化配电系统的安装过程要来得简单方便许多，尤其适合于这些改造项目。在为现有数据中心安装新的传统配电柜时会面临一连串的挑战，而模块化配电系统却可将多数的挑战难题一并解决。
随着数据中心的发展，模块化配电柜可以与现有传统配电柜共处运行。在这些改造方案中，传统配电柜的安装常常受限于各种历史局限，不使用吊顶母线槽元件，每个配电柜均由传统管道及电线连接至主母线。
模块化配电柜在升级传统数据中心时最重要的优势就是，由于线缆均置于吊顶线缆槽之内，其安装不会加剧地板下气流阻塞现象。现有数据中心的地板往往不深，地板下气流已经成为数据中心制冷性能甚至整体能效的瓶颈，因此这一优点显得尤为重要。
3.3 数据中心制冷
对数据中心IT设备产生的热量进行“热管理”，把热量限定在一定的范围内，提高冷却效率。通过合理布置机柜，采用“面对面、背对背”的布置方式，形成冷、热通道，提高冷却效率。同时，考虑在普通的冷、热通道作法的基础上，增加隔离措施，在热通道两端及机柜上方安装物理隔离措施，把热空气限定在热通道内，直接送入机房空调进行冷却，阻止热空气进入冷通道，这种方法成本低廉、效果较好。
对制冷系统产生的冷量进行“冷管理”，把宝贵的冷量输送到最需要冷却的地方，避免过度制冷。
中低密度机房(单机柜功耗4kW以下)，采用地板下送风的方式，提高地板下净空的高度，在冷通道采用可调节的地板通风口，对其他有可能漏风的区域进行封堵，最大效率的把冷风送入冷通道，使服务器得到有效冷却。
高密度机房(单机柜功耗4kW～10kW)同时采用“主机带终端”的高热密度冷却系统，将冷量直接送到机房最需要制冷的热点。在高密度机架顶部或在机架之间冷通道上部安装液体冷却终端，从热通道或机架内部直接吸收热空气，经冷却后送到冷通道。在高密度大型机侧安装模块化立式液体冷却单元。
超高密度机架(单机柜功耗10kW以上)采用液冷式机架，冷媒通过防静电地板下冷媒管进入机柜内的制冷终端，直接对机柜内空气进行制冷，可根据设备发热量确定制冷终端数量，根据机架内的温度控制风扇转速及冷却液流量，提高冷却效率。
另外，采用通风效率高的地板送风口，部分采用可调节的地板送风口。在工程设计中尽量采用开孔面积大的、通风效率高的机柜。
优秀的数据中心制冷方案具有4个基本原则，特别是高密度负载数据中心：
(1)向设备通风口送入温度适宜的足量空气。
(2)最小化冷/热空气混合。
(3)控制到空调的回流气体路径。
(4)最大化到空调的回流气体温度。
机柜的布局采用机柜行面对面，背对背的形式，这样就形成了冷、热通道相间的布局。
除了能效方面的优势之外,热通道或者冷通道气流遏制系统可以使众多IT设备进风口温度保持一致，从而消除在不使用气流遏制系统的传统数据中心架构中经常出现的局部过热点。
3.3.1 热通道封闭
热通道气流遏制系统(HACS)将热通道密闭，以搜集IT设备的排出的废热，数据中心机房内的其余空间就形成一个巨大的充满冷空气的“冷池”。通过密闭热通道，数据中心内的冷、热气流得以分隔。值得注意的是冷通道气流遏制系统要求机柜行采用冷/热通道布局。
图1 热通道封闭气流示意图
3.3.2 冷通道封闭
冷通道气流遏制系统(CACS)使得数据中心的其余部分成为一个大的热回风压力通风系统。通过密闭冷通道，数据中心内的冷、热气流得以分隔。值得注意的是冷通道气流遏制系统要求机柜行采用冷/热通道布局。
图2 冷通道封闭气流示意图
图2所示是采用冷通道气流遏制系统，高架地板下送风方式和房间级制冷的数据中心机房的基本原理。在这种数据中心中，可以通过封闭冷通道的顶部和两端来部署CACS。这样做对于已有的数据中心改造是非常方便的。
采用CACS时，热通道内的温度过高也会导致作业环境温度同样过高，对长期在数据中心机房内作业的IT人员产生不良影响。而采用HACS，高温只存在于封闭的热通道之内，而不会影响到在机房内长时间作业的人员。
3.4 提高数据中心效率(PUE)
2007年绿色网格组织制定了数据中心的能效比指标，分别称为PUE(Power Usage Effectiveness)和DCiE(Data Center Infrastructure Effectiveness)，被业界广泛采用。
能量使用效率PUE=数据中心总能耗/IT设备总能耗，数据中心基础设施效率 。
目前国内运行的数据中心PUE基本在2～2.5范围，对于新建的数据中心，推荐PUE值1.8～1.6。
根据PUE模型，可列出数据中心能耗三大部分为IT设备、供电系统和空调制冷系统。
3.4.1 IT设备的能量消耗
在数据中心的IT设备，包含服务器、存储器、交换机等，其中以服务器数量最多，占绝大多数。这些IT设备用电特性基本类似。以服务器为例，在数据中心中众多服务器为机架式服务器，部分高端数据中心采用小型机、大型机等大型服务器设备。
服务器上的电源和PC电源一样，都是一种开关电源。比如某款国产的服务器就采用了EPS标准的电源，输出功率为300W，该电源输入电压宽范围为90V～264V，功率因数大于0.95。
关于服务器电源的铭牌，一般不会直接贴在服务器的外壳，而是贴在服务器电源外壳比较空旷的地方，通常都只有在从服务器取出服务器电源后才能看到。
需要特别强调的是INPUT(输入)中220V是服务器电源额定输入电压;而4A指的是最大输入电流能力，表征的电源最大输入电流能力。因此，服务器电源的输入功率(即消耗功率)不能直接用输入额定电压×输入最大电流来计算。
OUTPUT(输出)250W MAX，这个参数才是该服务器电源最大输出功率，这个参数对于数据中心设计者才具有重要的设计意义，但很遗憾的是，通常服务器厂家没有将这个参数标识在服务器外壳上，这个参数通常只有在服务器电源铭牌上才能看到。
服务器电源的输出最大功率为250W，按照AC/DC转换效率85%(平均值)，那么服务器的输入功率(消耗功率)PSERVER为：
服务器的输入功率(消耗功率)PSERVER代表服务器的最大工作功率，即在设计满配置(CPU、内存、硬盘等全满配置)，CPU、内存和硬盘等设备全负荷100%速度工作时，所能消耗的最大功率，而服务器使用过程中这种工况是非常罕见的。
在数据中心设计中，我们可以参考配置系数 ，同时利用系数 。
其中配置系数 取0.8，代表服务器电源的厂家裕量。 为同时利用系数，取0.8。
以上讨论的是服务器配置一个电源的工作功率，但是为了提高服务器工作可靠性，目前服务器普遍采用冗余电源技术，它具有均流、故障切换等功能，可以有效避免电源故障对系统的影响，实现24×7的不停顿运行。
冗余电源较为常见的是N+1冗余(1+1、2+1、3+1等)，可以保证一个电源发生故障的情况下，系统不会瘫痪(同时出现两个以上电源故障的概率非常小)。冗余电源通常和热插拔技术配合，即热插拔冗余电源，它可以在系统运行时拔下出现故障的电源并换上一个完好的电源，从而大大提高了服务器系统的稳定性和可靠性。
因为冗余电源的应用带来新的问题：每一个服务器电源工作在较轻负荷状态之下，导致工作效率降低，比如1+1电源配置下，每一个服务器电源的负载均小于50%(通常只有20%负载)，这样电源模块的效率将只有80%左右，甚至更低至75%。
为了提高服务器电源的工作效率，减小服务器体积，服务器行业开始向刀片式服务器升级。
所谓刀片式服务器，就是指服务器外形扁而平，活像个刀片，于是形象的叫做“刀片服务器”。在标准高度的机架式机箱内可插装多个卡式的服务器单元(即刀片，其实际上是符合工业标准的板卡，上有处理器、内存和硬盘等，并安装了操作系统，因此一个刀片就是一台小型服务器)，这一张张的刀片组合起来，进行数据的互通和共享，在系统软件的协调下同步工作就可以变成高可用和高密度的新型服务器。
这些刀片服务器共用系统背板、冗余电源、冗余风扇、网络端口、光驱、软驱、键盘、显示器和鼠标，一个机箱对外就是一台服务器，而且多个刀片机箱还可以级联，形成更大的集群系统。
因为一个标准机架式机箱通常内置了8～14个刀片服务器，这些服务器是共用冗余电源，所以服务器电源的工作效率得到很大提升。而刀片服务器因为体积小，与同等速度与配置的机架式服务器相比，更加省电与节能。
表1列出了IBM某款刀片服务器与同等配置机架服务器的功率和发热量对比。
表1 IBM某型号刀片式服务器与机架式服务器功耗对比
功率 （休眠下）（W） | 功率 （最大）(W) | 单机功率 （休眠下） （W） | 单机功率 （最大） （W） | |
14个刀片（包括框架和网络单元） | 2585 | 3777 | 185 | 270 |
14台1U机架式服务器 | 3864 | 5278 | 276 | 377 |
Blade vs Rack | 33％ | 28％ | 33％ | 28％ |
相同配置：2*2.0GHz Xeon E540 CPU，4*1GB内存，2*146GB 10Krpm HDD硬盘 | ||||
显然，采用刀片式服务器，休眠状态、最大工况下，功率和发热量分别降低33%和28%，取中间值30%。
在一个中等规模的数据中心，通常会有数千台服务器，假定某数据中心有2800台服务器(全部折算为1U的标准机架服务器)，那么折算的用电功率为：参考配置系数
如果全部采用刀片式服务器，需要200个刀片机架+2800片刀片单元，这用电功率为：
显然，采用刀片式服务器，节约电力239.68kW，假设全年计算时间利用效率为0.7，那么可节省的电费为：
其中0.7为全年同时利用率;0.9为UPS的效率;电费粗略计为0.7元/度。可见采用新型的刀片式服务器，节约的电费很惊人。
3.4.2 供电系统的能量损耗
供电系统指的是从市电变压器、发电机组之后，包括ATS自动切换开关、配电系统、UPS、供电电缆等环节，如图3所示：
图3 数据中心供电系统原理图
在计算机类负载为1kW时，为计算机类负载提供供电的系统(包括ATS自动切换开关、低压配电开关、UPS供电系统、供电电缆等)在输出功率1kW条件下，计算供电系统的损耗即为PUE供电因子，计算的数学模型为：
其中ATS开关损耗、低压配电系统损耗、供电电缆损耗很小，基本上是铜损与接触电阻损耗，统计数据表明为1%～3%左右，取中间值2%。
而在数据中心设计与运营中，UPS系统的损耗随着UPS供电方案不同而变化。
根据TIA942标准与GB 50174-2008《电子信息机房设计规范》，数据中心UPS实际供电方案或为N+1供电系统、或为2N与2(N+1)供电系统。
中大型数据中心中，最常见的供电系统为2N、2(N+1)，在不同配置方式下负载比率不同，效率略有差异。以负载率较低的单机双母线组成2N供电系统为例，研究正常工作下UPS的效率与损耗。
假设某数据中心服务器等计算机类负载为100kW。
如果配置2台UPS组成单机双母线解决方案，UPS容量可按两种方法选择：
A，经济型，选用160kVA/144kW，输出功率因数为0.9;
B，扩容型，选用200kVA/180kW，输出功率因数为0.9。
(1)经济型方案UPS效率与供电因子
计算机类负载为100kW，正常工作时双母线上每台UPS平分负载，即每台UPS承担负载为50kW，单台UPS的负载率为： 。
查询艾默生Hipulse U 160kVA/144kW UPS效率表。(注，表中数据为电池浮充电状态)
表2 160kVA/144kW(12脉冲)效率与损耗表
负载率 | 0.00% | 25.00 |
公网安备:11010802022346号