全液冷服务器系统架构设计.docx

全液冷服务器系统架构设计

1.全液冷冷板服务器创新实践

此次全液冷冷板系统开发是基于浪潮信息2U四节点高密计算服务器i24，每个液冷节点支持两颗英特尔第五代至强平台可扩展处理器，搭配16根DDR5内存，1张PCIe扩展卡和1张OCP3.0网卡。整机可支持8张SSD固态硬盘，在实现高密算力的同时满足客户存储需求。服务器主要的发热部件包括CPU、内存，I/O板卡,本地硬盘，机箱电源等。液冷方案实现了系统中95%左右的热量通过冷板接触热源由液体直接带走，剩余5%左右的热量经由PSU电源后置的风液式换热器里面的冷却水带走，系统级即可实现接近100%液冷热捕获率。整体设计理念是基于在满足性能和可靠性要求的基础上，从系统级决方案开始，探索高能效，低成本和易于运维的全液冷服务器全新设计之道：节点与硬盘区域实现内部水电信号盲插结构共用，去除了多余管路，单节点运行即可支持多张固态硬盘液冷。节点冷板设计采用串联主流路，冷板焊接接口明显减少，降低漏液风险。全新的内存液冷设计方案，颠覆了业界现有方案在散热性能，公差控制，维护便利性及信号接触可靠性方面的弊端，为解决高功耗内存散热难题打开了新思路。全新的OCP网卡和硬盘液冷方案简单可靠，均可支持30次以上热插拔，方便客户在开机状态下进行维修，扩容或系统更新操作。此全液冷冷板方案最大化地利用现有风冷模组及业界成熟的冷板和风冷散热器加工工艺，避免定制化液冷部件和复杂加工工艺，优化成本。对低密度低成本铝冷板的散热可行性及与冷却工质的长期相容性做了大量拓展研究，为铝冷板在数据中心行业应用可行性分析积累了宝贵实践数据。

2.系统组成及管路布局

2.1全液冷服务器整机介绍

2U四节点全液冷服务器系统由节点、机箱、中背板、固态硬盘模组组成。节点和机箱组件间通过快接头、电源及信号连接器实现水、电、信号盲插。

2.2全液冷服务器单节点介绍

全液冷服务器的节点由节点外壳、主板、CPU芯片、内存模组、内存冷板、CPU冷板，IO冷板，电源及电源后置换热器等组成。

3.通流方式选择及流量计算

3.1全液冷冷板通流方式选择

为了简化流路设计的复杂性，此全液冷服务器的散热冷却工质流路选用串联流路设计，冷却工质整体由低功耗器件往高功耗器件流动和散热，详细流动方向见下图及表所示。

3.2全液冷冷板流量设计

全液冷服务器流量需要满足系统散热需求：1）为了确保二次侧管路材料的长期可靠性，二次侧回水温度不超过65?C；2）确保全液冷服务器各零部件在定义的边界条件下满足散热需求，选取铜冷板+PG25作为流量设计分析。为进一步验证该流量下，各个冷板覆盖部件是否超温，通过CFD软件进行散热仿真。结果显示全液冷服务器铜冷板在进水温度51?C（W45）以及冷却工质PG251.3LPM流量条件下所有零部件温度都满足温度要求，且具有一定的安全温度裕量，详细数据如下表所示：

综上分析所述，全液冷服务器采用单节点流量1.3LPM完全满足系统散热设计目标，而且经济合理利用CDU提供的冷却工质。结合冷板式液冷特点及行业先进液冷数据中心分析，冷板液冷未来技术优化方向主要围绕通过技术创新进一步提高能效，降低初投资成本，减少漏液安全隐患及提高运维便利性展开。完善部件液冷方案,提高液冷覆盖率。除CPU,GPU，内存之外，目前业界对服务器内其他发热部件如何通过冷板液冷实现经济有效散热的探索还比较少，方案尚未成熟，价格昂贵，有待通过设计方案的创新实现标准化，规模化应用的经济性和可靠性，进一步提高冷板液冷数据中心能效，减少数据中心空调用量和成本，降低冷却系统复杂度。提高通用化及可维护性。目前已知的全冷板液冷方案大多基于高度定制化服务器设计，液冷方案无法灵活适用于传统通用服务器架构。对硬盘和网卡等通常需要热插拔的部件无法支持不断电维护。

内存液冷方案对冷板管路加工精度要求非常高，在内存安装，维护及可靠性方面也存在一定的弊端。拓展冷板液冷材料范围，减轻重量，降低成本。服务器重量随着液冷部件的增多大幅上升，对服务器运维和运输过程中的可靠性带来诸多挑战。拓展低密度低成本冷板液冷材料范围，有助于推动行业多样化发展。提升液冷系统长期使用的安全性，降低漏液风险。选取合理的冷板环路材料和液冷冷却工质，并进行充分的相容性测试及系统性能老化性测试，是保障液冷系统全生命周期内安全稳定运行，降低漏液风险的关键。