数据中心的神秘面纱该去掉了
如果说现在世界上最引人关注的事情是什么,那肯定是利比亚的战争以及日本的核泄漏,如果说中国最受人关注的是什么,那肯定是上涨的油价,但是如果把目的地放在IT领域呢?那自然是今天凌晨Facebook发布的开源服务器以及数据中心计划,该计划被命名为The Open Compute Project。
此计划包含两部分,分别为服务器(Server)以及数据中心(Data Centers),服务器部分包括机箱(Chassis,实际包括内部散热系统),AMD主板(AMD Motherboard),Intel主板(Intel Motherboard),电力供应(Power Supply)这4个部分;而数据中心则包括整体电力供应(Electrical),整体温度控制(Mechanical,主要是指机房冷却控制),备用电池(Battery Cabinet)以及三联机柜(Triplet Racks)。
首先我们从服务器标准来说,Facebook仍然继承了传统机架式服务器的外貌,不过在绝大多数标准上都做了更改,比如特别高度的机箱(略矮于1.5U),仅有12.5V供电的450W电源(传统服务器仍有相当数量保留了多路输出),主板方面则放弃了功能性方面的扩展,使用了目前最为主流而且具有较高性价比的双路系统(AMD平台为2/4路共用型号)。
数据中心方面,首先在供电上Facebook推广277V交流电作为主供电电路(美国工业用电标准标准),备份用电池采用了48V直流电(通讯标准),冷却系统采用效率达到100%的蒸发式冷却换热器。此外在电力冗余方面,每颗电池可以直接与4台服务器相连,直接提供电力,而不需要经过逆变再整流的过程,很有效的提高了效率。最后就是特别的3联式机柜,可以提供非常紧凑的密度以及电力冗余系统。 下面就让我们与笔者一起来看看Facebook此套开源系统与传统的服务器与数据中心的区别。 机箱:独特的高度标准
Facebook开源服务器依旧选择了我们传统的机架式,但是需要注意的是他并没有沿用我们目前习惯的U标准(1U = 1.75inch = 4.445cm),而采用了66mm这一独特的高度(恰好比1.5U矮一丁点)。当然从散热的角度上讲,这种尺寸可以容纳性能更好的60mm风扇,CPU可以使用更高的散热片,内存也无需选择矮条,相比2U系统则拥有更高的密度。
可以看到机箱被分为2部分,左侧为主板,右侧为电源,两侧均有硬盘,总共可以容纳6块,按照2×3排布。该机箱并不附带硬盘热插拔功能,其中左侧4颗硬盘用风扇抽风散热,右侧则是依靠电源风扇抽风散热。机箱预留集中控制接口,这种设计可以有效降低管理成本。
事实上我们可以看到,这样的机箱设计十分紧凑,但是却缺乏扩展性,磁盘也没有很好的交换方式(只能打开盖子),扩展位仅有一个。这种设计更适合于不需要磁盘与扩展,但是需要大量运算的服务器系统。不过既然他是为数据中心而设计的,舍弃自己本不需要的设计可以说是一种明智的选择。 AMD主板 海量内存与重叠温度
Facebook的开源服务器计划一共推出了2套平台,分别为AMD的皓龙6100平台与Intel的至强5600平台,均采用双路设计,Facebook在开放主页上把AMD主板放在了更加靠前的位置,显然更加推崇。事实上我们也可以看到AMD平台拥有比Intel平台更加多的内存插槽以及内存容量上限,显然在档次上更高一点。
不过我们可以在两套平台上找到共同点,比如均拥有6个硬盘接口,单北桥,单PCI-E插槽,这也是与Facebook多余的东西我们一点都不要的理念相互对应。内存插槽则是24条,按照目前的内存密度可以达到384GB,CPU目前标配的是皓龙6100,总计24颗物理核心,相信会在秋季无缝升级至基于推土机核心的皓龙6200,以达到32颗物理核心的高度。
不过从图中我们也可以看到,AMD主板的给我们留下了一个小小的散热问题,两颗CPU并非左右排列而是上下,这意味着CPU1需要依靠已经经过了CPU0和其内存的热风才能进一步散热,这样会导致CPU1温度长期高于CPU0,对于服务器系统来说这是否应该算是小问题呢? Intel主板 还能坚持多久
然后我们来看看Intel主板,虽然很明显基于Westmere架构的CPU拥有更强的频率效能以及更高的频率,不过由于单颗仅有6个物理核心(12个逻辑核心)以及192bit的内存带宽(皓龙6100为256bit)则被抛弃到了老二的位置。甚至连工程样板都少悍了12根内存插槽,是否有点厚此薄彼的意思?
细心的朋友如果比较一下这2块主板,其实会发现出了南北桥以及CPU本身,这2块主板的区别可以说并不算大,当然采用相对少的硬件可以保证更好的兼容性和易用性,苹果就是如此成功的,Facebook可以学的像吗?
Intel平台主板相对来讲要显得空旷一些,当然少了6根内存插槽也是其原因。可以看到2颗CPU采用了并行排布,散热方面会更加优秀。当然从某些角度上讲,更加空旷的主板布局本身更加利于散热。至于北桥选用5500而并非5520也可以看到其实这款产品对于成本真的是精打细算的。 最后笔者要说的是,1366接口已经到了尽头,今年年底Intel也许就会切换到全新的双路平台,至强5600,你还能走多远呢? 电源 效率至上 散热无忧
服务器方面最后让我们来看看电源,电源方面可以说是这款服务器的亮点之一,输入输出规格统一度极高,为277V交流输入(50Hz/60Hz)均可,12.5V直流输出。当然主板不可能不需要低压部分,考虑到直流降压模块(DC-DC)本身效率较高而且不易损坏,所以全部在电源外部生成。
当然还有非常特别的一点就是该服务器还预留了48V直流电输入,当然这种设计主要是为了在电力供应停止之后可以直接使用备用电池的电力,这种设计非常有效的避免了传统UPS的逆变再整流过程,非常有效的提高了效率。
Facebook官方给此台电源的效率指标为95%(50%-90%负载),远高于80Plus白金牌的90%、94%、91%(在20%、50%、100%负载点)。当然这种设计一方面是可以有效节约能源(数据中心的电力开销都是极为恐怖的),另一方面电源自身的发热量可以小到一个非常微弱的值,一方面降低散热成本,但是更重要的也是另一方面,可以有效避免高温对于电源元件的老化,达到长时间稳定运行的目的。
比较遗憾的是,在Facebook开源服务器当中,每个单元仅配备一枚电源,也就是说我们并没有办法在此颗电源完全损坏的情况下更换其他电源(虽然我们还留有48V直流供电等备用方式),在这里笔者的确有些想不明白。
供电 遗憾的277V 提到数据中心相信绝大多数人会想到2个极为恐怖的成本,一个是电力,一个是散热。电力成本并不像很多人想象中那样只是一个简简单单电费的问题,由于数据中心本身耗电量过大,需要的电力支持设备也是极为庞大的,提高输入电压的确可以非常有效的降低线路损耗以及设备规模,不过Facebook开源数据中心却采用了一种非常特殊的电力输入标准——277V(实际为480V)。 小贴士:3相4线制480V的线电压即为277V,计算方法为480/根号3
当然说他特殊也仅仅是站在笔者与我们的角度,美国普遍采用480V工业电压,所以277V对于他们来说是一个非常常见的数字,不过看来Facebook在开始时并没有打算把这套开源方案引出美国,所以我们是否真的能在国内看到此方案的推广也是一个未知数。不过即使改变电压,对于现在的科技水平来讲也不算一件难事。 冷却 舍得开空调不等于散热好
然后我们来讲讲冷却系统,数据中心毕竟是一个计算机极为集中的地方,点点滴滴的运算能力全部是以发热为代价的,所以将每个机柜的温度控制在合理的范围是保证整个系统稳定的必要条件。很多数据中心的管理者为了保证系统的正常运转,总会尽可能加大冷却系统的负荷,这种思路实际上是错误的,但是很多人却并没有意识到这个问题。
提高冷却系统的利用率,一方面在于提高冷却系统本身的效率,另一方面也在于合理的机房规划方案。机架的位置、冷气的进入口,热风的排出口,每一项都是影响冷却系统效率的重要因素。合理的排布相比在技术上提高百分点能带来更好的节能效果。
电池 直接供电省时省力 然后让我们一起来看看该数据中心的电力备用系统,Facebook所提出的方案使用了通讯中非常常见的48V直流电电池,当然这并不是整套系统的精髓所在。对于传统的UPS来说,电力总是要经过一个电池 to 交流电,交流电再供给电力设备的过程。而Facebook的数据中心得益于独特的电源与UPS一体化设计,使得电池可以直接给电源供电。
整套系统的备用电池的电压为48V,电源输出电压为12.5V。备用电池可以直接切换到直流供电,而避免了传统的DC to AC to DC过程。当然其中也会存在着不同电力负载均衡的问题,但是总体来讲省去了逆变和整流这2大过程,的确拥有相当的优势。 机柜 3合1设计带来更高密度 最后要说的就是机柜,之前的文章可能会给大家一种印象,Facebook的服务器以及数据中心拥有一个相对低的密度,不过实际上总体来说密度相比目前最为紧凑的10U 16刀的刀片服务器形式并没有降低太多,而且拥有更好的独立性以及低得多的成本。而且对于数据中心的管理者来说,刀片服务器会带来太强的供电压力以及散热压力,自身价格也是非常不友好。
Facebook数据中心所采用的机柜为标准的42U高度,其中拥有30个单元,上图中为6组AMD单元,24组Intel单元的混合型机柜。这种设计理念与Sun之前推出的10U 10刀的刀片服务器相似,不过笔者还是认为,更加统一的散热供电系统才是这种数据中心服务器发展的道路。
总结 开源虽好 成功要看谁重视 说了那么多,其实笔者在某些程度上并不是很看好此套开源系统,当然最根本的原因也与其最大的优势有关,那就是——开源。很多人会觉得开源项目意味着低成本与掌握核心技术,但是开源项目的劣势就在于往往没有一个强有力的厂商去足够的支援他。
Facebook虽然是一家极为有潜力的网络公司,不过其在硬件领域并没有任何作为,也就是说这些东西全部需要依赖其他硬件厂商的支持才可以有所作为。不过硬件厂商也是各怀鬼胎,谁又会来支持这很可能费力不讨好的活呢? 就让我们一起来期待Facebook真的可以在数据中心领域有所作为吧,也希望这些资料能够帮助到我们国家的数据中心建设。祖国自强的道路仍然任重而道远,完全自主的中国数据中心,哪天我们才能见到你呢? |