2023年
某省某市
无人员伤亡
部分机柜断电,业务中断数小时,UPS设备烧毁
事故经过(根据官方通报)
2023年2月8日上午11时05分,某Tier III级数据中心B区UPS室发生电气火灾。数据中心动环监控系统首先发出B区UPS2号机直流母线电压异常报警,10秒后UPS室内烟感报警。
数据中心运维人员立即启动应急预案,将B区负载切换至旁路市电供电,同时启动UPS室气体灭火系统。灭火系统启动后30秒,UPS室内明火被扑灭。运维人员佩戴空气呼吸器进入UPS室检查,确认无复燃风险。
由于UPS室采用了气体灭火系统和防火隔断,火势未蔓延至相邻的电池室和配电室。B区IT负载在切换至旁路后未中断运行,服务器未发生宕机。但UPS2号机内部功率模块完全烧毁,需要更换整机。
事故造成UPS2号机报废,直接经济损失约45万元(据行业公开案例估算)。B区在UPS维修期间单路供电运行约8小时,存在一定的供电可靠性风险。未造成数据丢失和业务中断,未造成人员伤亡。
原因分析
经UPS厂家技术人员现场检测,事故原因如下:
一是IGBT功率模块击穿。UPS2号机逆变单元的一组IGBT模块由于长期运行出现老化,关断时间延长,导致上下桥臂直通短路。短路产生的大电流引发模块爆炸,高温电弧引燃了周围的驱动板和电容。
二是电容老化加剧。UPS内直流母线电容使用已超过8年,超过厂家建议的5年更换周期。电容容量衰减导致直流母线纹波增大,IGBT模块工作应力增加,加速了模块老化。
三是散热不良。UPS室空调由于滤网堵塞,送风温度偏高。UPS内部散热片积尘较多,IGBT模块结温长期处于90℃以上,加速了器件老化。
四是维护不到位。数据中心运维合同中虽包含UPS年度维护,但实际维护内容仅限于清洁和紧固,未进行IGBT模块特性测试和电容容量检测。厂家建议的5年电容更换计划未被执行。
整改措施
一是UPS设备更换。将烧毁的UPS2号机更换为同型号新机。对UPS1号机进行全面检测,更换全部直流母线电容和老化的IGBT模块。建立UPS关键器件生命周期档案,按厂家建议周期进行预防性更换。
二是预防性维护升级。将UPS年度维护升级为季度维护,增加IGBT模块特性测试、电容容量检测、驱动板电压检测等内容。建立UPS运行参数趋势分析,对器件老化进行早期预警。
三是散热系统优化。更换UPS室空调滤网,增加空调送风量。UPS内部散热片每季度清洗一次,确保散热良好。在UPS内增加IGBT模块结温监测,结温超过85℃自动报警。
四是消防系统验证。对UPS室气体灭火系统进行全面检测,包括气瓶压力、管网密封性、探测器灵敏度等。增加UPS室温度监测,温度超过60℃自动启动灭火系统。定期进行灭火系统联动测试。
五是供电可靠性提升。在UPS维修期间,制定临时供电保障方案,增加移动发电车作为备用电源。完善UPS故障应急预案,明确不同故障场景下的负载切换流程,每半年组织一次应急演练。
经验教训
第一,UPS是数据中心供电系统的核心设备,其可靠性直接影响业务连续性。UPS内部IGBT模块、电容等功率器件有明确的使用寿命,超期运行会显著增加故障风险。应建立关键器件生命周期管理,按厂家建议进行预防性更换。
第二,预防性维护不能流于形式。许多数据中心的UPS维护仅限于"看一眼、紧一紧、吹一吹",缺乏对器件健康状态的深度检测。IGBT特性测试、电容容量检测、驱动板波形分析等专业检测项目,能够在故障发生前发现隐患。
第三,散热条件对电力电子设备寿命影响巨大。IGBT模块结温每升高10℃,寿命约减少一半。UPS室空调维护、内部散热片清洗、风道畅通性检查等基础工作,对延长设备寿命至关重要。
第四,数据中心消防系统的"早发现、早灭火"策略成效显著。本次事故中,动环监控系统在10秒内发现异常,气体灭火系统在30秒内扑灭明火,有效阻止了火势蔓延。数据中心应采用极早期烟雾探测(VESDA)和气体灭火系统的组合方案。
第五,业务连续性是数据中心的生命线。本次事故中,由于及时切换至旁路供电,IT负载未中断,业务未受影响。数据中心应制定完善的供电故障应急预案,定期进行切换演练,确保运维人员在紧急情况下能够快速、正确地操作。
数据中心UPS电池室发生电气故障,产生电弧并引燃电池电缆和周围绝缘材料。火灾自动报警系统探测到烟雾后发出警报,值班人员确认火情后启动气体灭火系统,同时切断该区域非必要电源。
由于灭火系统启动及时,明火被迅速扑灭。但UPS输出中断导致部分机柜在柴油发电机启动前的短暂时间内断电,部分业务受到影响。
相关阅读
常见问题
数据中心火灾事故中,UPS 故障为何会造成严重后果?
韩国大田国家信息资源管理院(NIRS)数据中心因UPS电池组故障引发电气火灾,导致部分IT设备断电和业务中断。本文分析数据中心电气火灾风险和业务连续性保障。
韩国大田国家信息资源管理院(NIRS)数据中心UPS故障引发电气火灾的经过是怎样的?
数据中心UPS电池室发生电气故障,产生电弧并引燃电池电缆和周围绝缘材料。火灾自动报警系统探测到烟雾后发出警报,值班人员启动气体灭火系统并切断该区域非必要电源,明火被迅速扑灭。但UPS输出中断导致部分机柜在柴油发电机启动前短暂断电,部分业务中断数小时,UPS设备烧毁。
起火原因分析?
阀控式铅酸蓄电池在长期运行后可能出现内部短路、外壳鼓胀、电解液泄漏等问题,从而引发火灾。电池室环境温度过高会加速电池老化、增加故障概率;电池连接条松动导致接触不良、充电电压设置不当导致过充也是常见诱因。数据中心火灾不仅造成设备损失,业务中断带来的间接损失更为严重。
如何预防韩国大田国家信息资源管理院(NIRS)数据中心电气火灾:UPS故障与业务中断的代价相关的安全风险?
应严格控制电池室温度在20-25℃,安装空调和通风系统,并设置氢气浓度探测器。部署电池监控系统实时监测每节电池的电压、内阻和温度;数据中心采用分区消防设计,气体灭火系统按保护区独立设置,确保柴油发电机和UPS冗余配置以避免单点故障。还应按规范定期进行电池充放电测试、连接条紧固检查和红外热成像巡检,达到使用年限的电池及时更换。
韩国大田国家信息资源管理院(NIRS)数据中心电气火灾:UPS故障与业务中断的代价涉及哪些国家标准?
本案例正文引用了GB 50016《建筑设计防火规范》。数据中心消防设计还涉及GB 50116《火灾自动报警系统设计规范》、GB 50370《气体灭火系统设计规范》、GB 50174《数据中心设计规范》等相关标准。