淺談數(shù)據(jù)中心冷卻技術(shù)的“前世今生”
本文轉(zhuǎn)載背景
本文轉(zhuǎn)載自微信公眾號(hào):Deepknowledge
副標(biāo)題:Sabey公司數(shù)據(jù)中心通過氣流通道封閉優(yōu)化數(shù)據(jù)中心風(fēng)循環(huán)冷卻
原文作者:John Sasser
原文出處:https://journal.uptimeinstitute.com/a-look-at-data-center-cooling-technologies/
?
?
? ? ? 數(shù)據(jù)中心冷卻技術(shù)的唯一目的是維持適合信息技術(shù)設(shè)備(ITE)運(yùn)行的環(huán)境條件。為實(shí)現(xiàn)這一目標(biāo)需要把信息技術(shù)設(shè)備(ITE)運(yùn)行過程產(chǎn)生的熱量轉(zhuǎn)移至冷卻散熱器。大多數(shù)數(shù)據(jù)中心的運(yùn)營者都期望冷卻系統(tǒng)能夠連續(xù)可靠的運(yùn)行。
? ? ? 我清楚地記得曾經(jīng)和一個(gè)運(yùn)行數(shù)據(jù)中心很多年的機(jī)械工程師(譯者注:暖通空調(diào)技術(shù)在美國的專業(yè)劃分上屬于機(jī)械類)的對(duì)話,他覺得大多數(shù)機(jī)械工程師并沒有真正理解數(shù)據(jù)中心的運(yùn)行與設(shè)計(jì),他解釋說,大多數(shù)暖通空調(diào)工程師在介入數(shù)據(jù)中心設(shè)計(jì)前是從事辦公室或者住宅的設(shè)計(jì),專注于舒適性冷卻。他認(rèn)為他們?cè)谀切╉?xiàng)目設(shè)計(jì)中掌握的范式并不能很好地適用于數(shù)據(jù)中心。
? ? ? 重要的是,即使數(shù)據(jù)中心必須讓那些在里面工作的職員安全健康,也要清楚舒適性冷卻不是數(shù)據(jù)中心冷卻系統(tǒng)的主要目的。事實(shí)上,對(duì)于長期工作在數(shù)據(jù)中心里的人來說那種不舒適感完全可接受(也不足為奇)。
? ? ? 與任何精心設(shè)計(jì)的系統(tǒng)一樣,數(shù)據(jù)中心冷卻系統(tǒng)應(yīng)該有效地服務(wù)于它的功能。數(shù)據(jù)中心非常耗能,很可能冷卻系統(tǒng)消耗與它服務(wù)的計(jì)算機(jī)一樣多(或更多)的能源。與之相反,一個(gè)設(shè)計(jì)和運(yùn)行良好的冷卻系統(tǒng)可能只消耗信息技術(shù)設(shè)備(ITE)所用能源的一小部分。
? ? ?在這篇文章里,我將提供一些數(shù)據(jù)中心冷卻的歷史。然后討論一些數(shù)據(jù)中心冷卻的技術(shù)要素,伴隨了一些數(shù)據(jù)中心冷卻技術(shù)的比較,也包括我們Sabey數(shù)據(jù)中心使用著的一些冷卻技術(shù)。
?
摩爾定律的經(jīng)濟(jì)性崩潰
? ? ? 從早期到2000年代中期,設(shè)計(jì)與運(yùn)行人員一直擔(dān)心風(fēng)循環(huán)冷卻技術(shù)應(yīng)對(duì)越來越耗電的服務(wù)器的冷卻能力。在設(shè)計(jì)功率密度接近或超過每機(jī)柜5千瓦(kW)的情況下,一些言論認(rèn)為,運(yùn)營商將不得不求助于背板換熱器(譯者注:Rear-Door Heat Exchangers通常簡稱為RDHx)和其他行間冷卻(In-Row cooling)方式以跟上日益增長的功率密度。
?????2007年,Uptime Institute的Ken Brill有一個(gè)著名的預(yù)測,即摩爾定律的經(jīng)濟(jì)性崩潰,他說,在沒有技術(shù)進(jìn)步的情況下,隨著越來越多的晶體管集成到芯片上產(chǎn)生的熱量增長將使得數(shù)據(jù)中心冷卻到達(dá)不再具有經(jīng)濟(jì)可行性的終點(diǎn)(見圖1)。
圖1.ASHRAE新數(shù)據(jù)通信設(shè)備電力圖表,2005年2月1日出版
?
? ? ? 美國國會(huì)甚至也參與進(jìn)來。這表明國家領(lǐng)導(dǎo)人們已經(jīng)關(guān)注到數(shù)據(jù)中心和他們的能源能耗量。國會(huì)指示美國環(huán)境保護(hù)署(EPA)提交一份關(guān)于數(shù)據(jù)中心能源消耗的報(bào)告(公法編號(hào)109-341,譯者注:實(shí)際為109-431)。這項(xiàng)法律另外還指示美國環(huán)境保護(hù)署(EPA)確定能效提升策略并推動(dòng)相關(guān)市場。據(jù)該報(bào)告預(yù)計(jì),除非采取能顯著提高能效的措施,否則數(shù)據(jù)中心將會(huì)大幅度增加能源消耗量(見圖2)。
圖2.圖表ES-1摘自美國環(huán)境保護(hù)署(EPA)報(bào)告(2007,8月2日)
?
?
? ? ?截止2014年,摩爾定律尚未失效。但當(dāng)它失效時(shí),最終將是因?yàn)樾酒途w管設(shè)計(jì)中涉及的物理性限制導(dǎo)致,與數(shù)據(jù)中心環(huán)境無關(guān)。
? ? ? 在美國環(huán)境保護(hù)署(EPA)公布其數(shù)據(jù)中心報(bào)告的同時(shí),工業(yè)界領(lǐng)袖們也注意到能效問題,信息技術(shù)設(shè)備(ITE)廠商們開始在他們的設(shè)計(jì)中除了性能之外更加注重能效;同時(shí)數(shù)據(jù)中心的設(shè)計(jì)和運(yùn)營人員開始在可靠性和成本之外進(jìn)行能效設(shè)計(jì);運(yùn)營商開始意識(shí)到提高能效并不需要犧牲可靠性。
?
傳統(tǒng)冷卻與架空地板的消失
? ? ?幾十年來,計(jì)算機(jī)機(jī)房和數(shù)據(jù)中心采用架空的活動(dòng)地板系統(tǒng)向服務(wù)器提供冷氣流。從機(jī)房空調(diào)(CRAC)或機(jī)房空氣處理機(jī)組(CRAH)出來的冷氣流加壓架空活動(dòng)地板的下面空間形成靜壓箱。風(fēng)口地板則作為冷氣流離開靜壓箱進(jìn)入機(jī)房主空間的方式,風(fēng)口地板理想的位置是在服務(wù)器進(jìn)風(fēng)口的前端。冷氣流經(jīng)由服務(wù)器后,產(chǎn)生的熱氣流通常會(huì)與冷空氣混合后返回CRAC/CRAH并再次被冷卻。更常見的是CRAC機(jī)組的設(shè)定值通過比對(duì)氣流回風(fēng)溫度來控制冷卻系統(tǒng)的運(yùn)行。最常見的是CRAC機(jī)組室內(nèi)風(fēng)機(jī)恒速運(yùn)行,并且CRAC機(jī)組內(nèi)配置加濕器來提供增加濕度用的蒸汽。從冷卻的觀點(diǎn)來看,架空活動(dòng)地板的主要好處是為需要的位置提供冷氣流,而且?guī)缀醪毁M(fèi)事的就可以簡單地將一塊架空活動(dòng)地板換成風(fēng)口地板(見圖3)。
圖3.傳統(tǒng)架空地板冷卻
?
?
? ? ?多年來這個(gè)系統(tǒng)是計(jì)算機(jī)機(jī)房和數(shù)據(jù)中心更常見的設(shè)計(jì)。至今仍在這么應(yīng)用。事實(shí)上,我還發(fā)現(xiàn)許多運(yùn)營人員進(jìn)入現(xiàn)代數(shù)據(jù)中心看不到架空地板和CRAC機(jī)組的驚訝。
? ? ? 傳統(tǒng)機(jī)房氣流系統(tǒng)依賴于舒適性冷卻的一個(gè)原理:即通過輸送相對(duì)少量的空調(diào)調(diào)節(jié)的氣流,使這些冷氣流與房間中較大量的空氣混合以達(dá)到所需的溫度。當(dāng)信息技術(shù)設(shè)備(ITE)的功率密度較低時(shí),這個(gè)系統(tǒng)完全可以正常采用。盡管這樣的冷卻系統(tǒng)有著效率低、冷卻不均勻等等的缺點(diǎn)。但能滿足低功率密度的環(huán)境需求。
? ? ?就此,說架空活動(dòng)地板已經(jīng)過時(shí)有些夸張,因?yàn)楹芏喙救栽诮ㄔ觳捎眉芸盏匕遢斔蜌饬鞯臄?shù)據(jù)中心。然而,越來越多的現(xiàn)代數(shù)據(jù)中心開始沒有架空地板,改進(jìn)的氣流輸送技術(shù)使得架空地板變得不再那么必要。
?
足夠冷是多冷?
? ? ?“拿一件夾克?!蔽覀円C(jī)房?!?/p>
信息技術(shù)設(shè)備(ITE)電氣元件周邊的熱量必須移除,以免元件過熱。如果服務(wù)器變得太熱,控制板上的控制邏輯將會(huì)關(guān)閉服務(wù)器以避免對(duì)它造成損壞。
? ? ?ASHRAE技術(shù)委員會(huì)9.9(TC9.9)為信息技術(shù)設(shè)備(ITE)確定合適的運(yùn)行環(huán)境做了大量工作。我相信他們的那些出版物,特別是《數(shù)據(jù)處理設(shè)備的熱指南》已經(jīng)推動(dòng)將數(shù)據(jù)中心從傳統(tǒng)數(shù)據(jù)中心的“儲(chǔ)肉柜”式轉(zhuǎn)向更合適的溫度。[原文作者備注:ASHRAE技術(shù)委員會(huì)TC9.9熱指南推薦數(shù)據(jù)處理設(shè)備入口氣流溫度在18-27°C之間,相對(duì)濕度(RH)在20-80%之間來滿足制造商已有的標(biāo)準(zhǔn)。UptimeInstitute則進(jìn)一步建議將上限降低到25°C,從而可以允許運(yùn)行中的一定的意外與變工況,或者補(bǔ)償溫度傳感器、控制系統(tǒng)固有的誤差。
? ? ?明白TC 9.9的熱指南是基于服務(wù)器入口溫度而不是服務(wù)器內(nèi)部溫度,不是室溫,當(dāng)然也不是服務(wù)器出風(fēng)溫度非常重要。另外理解推薦和允許的運(yùn)行環(huán)境概念也很重要。
? ? ?如果服務(wù)器一直太熱,但不至于熱到它自己關(guān)閉,它的壽命可能會(huì)減少。一般來說,這種減少的壽命是服務(wù)器經(jīng)歷的高溫和該高溫環(huán)境持續(xù)時(shí)間的函數(shù)。通過提出一個(gè)更寬泛的允許范圍,ASHRAE TC 9.9表明信息技術(shù)設(shè)備(ITE)每年可以有更多的時(shí)間運(yùn)行在較高的溫度下。
? ? ?鑒于技術(shù)更新每3年會(huì)發(fā)生一次,信息技術(shù)設(shè)備(ITE)運(yùn)行人員應(yīng)該考慮它們的壽命減少與運(yùn)行環(huán)境有著怎樣的相關(guān)性。答案可能取決于特定情況下的細(xì)節(jié)。在更新率為4年或更少的齊次計(jì)算環(huán)境下,增加溫度導(dǎo)致的失效率可能不足以去推動(dòng)改進(jìn)冷卻設(shè)計(jì),特別是如果制造商在比較高的機(jī)房溫度下還會(huì)保修他們的信息技術(shù)設(shè)備(ITE)。而在期望設(shè)備具有較長壽命的混合計(jì)算環(huán)境下,溫度可能需要保證投入更多的關(guān)注。
? ? ?除了溫度,濕度和污染物也會(huì)影響信息技術(shù)設(shè)備(ITE)。當(dāng)信息技術(shù)設(shè)備(ITE)長期運(yùn)行在不能接受的環(huán)境中,特別容易被濕度和污染物影響導(dǎo)致不良結(jié)果。當(dāng)然,在極端情況下(比如有人把一桶水或泥土倒在電腦上),你們立馬就能看到后果。
? ? ?低濕度產(chǎn)生的問題涉及到靜電(ESD)。類似大多數(shù)人經(jīng)歷過的,在干燥(濕度較低)的環(huán)境下,ESD很容易產(chǎn)生。然而,數(shù)據(jù)中心低濕度的ESD影響已另外分析清楚。在“數(shù)據(jù)中心的濕度控制是必須的嗎?”(ASHRAE通訊,2010年3月),Mark Hydeman和David Swenson寫道,只要信息技術(shù)設(shè)備(ITE)有外機(jī)箱,ESD就不是一個(gè)真正的隱患。另一種情況下,去掉ITE的外機(jī)箱,即使嚴(yán)格的進(jìn)行濕度控制也不能保證不產(chǎn)生ESD。技術(shù)員去除外機(jī)箱后對(duì)內(nèi)部元件進(jìn)行操作時(shí)應(yīng)該佩戴防靜電腕帶。
? ? ?另一方面,高濕度確實(shí)對(duì)信息技術(shù)設(shè)備(ITE)構(gòu)成了現(xiàn)實(shí)隱患。雖然冷凝水絕不應(yīng)該出現(xiàn),但在大多數(shù)數(shù)據(jù)中心它并不是一個(gè)重大隱患。主要的隱患來自濕的灰塵顆粒?;旧?,較高的濕度使得空氣中的灰塵更容易粘附在計(jì)算機(jī)中的電氣元件上。一旦灰塵粘附,就會(huì)阻礙散熱以及很可能對(duì)那些元件造成腐蝕。阻礙散熱的后果非常類似于高溫。
? ? ?還有一些與污染物有關(guān)的隱患。比如灰塵會(huì)覆蓋電子元件,阻礙散熱。其中有一類灰塵,稱為鋅晶須,是導(dǎo)電的。在電鍍鋅架空地板上非常容易產(chǎn)生鋅晶須。鋅晶須可以被空氣傳播并帶到計(jì)算機(jī)里。由于它們能夠?qū)щ?,可以在微小的?nèi)部元件中造成破壞性短路。UptimeInstitute在一篇題為“架空地板生成的鋅晶須正引起導(dǎo)電故障和設(shè)備宕機(jī)”的文獻(xiàn)中記載了這一現(xiàn)象。
? ? ?除了物理顆粒污染物所帶來的隱患外,還有與氣體污染物有關(guān)的隱患。某些污染性氣體對(duì)電子元器件有腐蝕性。
?
冷卻過程
? ? ?冷卻過程可分解為如下步驟:
? ? ?1.服務(wù)器冷卻。從信息技術(shù)設(shè)備??
? ? (ITE)帶走熱量
? ? ?2.房間冷卻。從承載信息技術(shù)設(shè)備
? ?(ITE)的房間帶走熱量
? ? 3.散熱。熱量轉(zhuǎn)移至數(shù)據(jù)中心外部? ? ? 的散熱設(shè)備
? ? 4.冷卻制冷。通過散熱設(shè)備冷卻后
? ? 的流體返回至白空間,從而保持空
? ? 間合適的環(huán)境條件。
?
服務(wù)器冷卻
? ? ?信息技術(shù)設(shè)備(ITE)的電子元件消耗電力轉(zhuǎn)化為熱量,這是牛頓物理定律:輸入的電能與產(chǎn)生的熱能能源守恒。當(dāng)我們說服務(wù)器用電,我們的意思就是指服務(wù)器的電子元件正有效的把能源狀態(tài)從電能態(tài)改變成熱能態(tài)。
? ? ? 服務(wù)器內(nèi)固體(電氣部件)熱量傳遞至流體(典型的是空氣)通常通過另一個(gè)固體(服務(wù)器內(nèi)的熱沉),信息技術(shù)設(shè)備(ITE)的風(fēng)扇吸入空氣經(jīng)由內(nèi)部元件從而驅(qū)動(dòng)傳熱。
? ? ?一些系統(tǒng)使用液體從信息技術(shù)設(shè)備(ITE)吸收并帶走熱,通常這種液體的載熱性能比空氣更高效。我曾經(jīng)見過三類這樣的系統(tǒng):
? ? ?? 液體與熱沉接觸。液體流動(dòng)通過服務(wù)器與內(nèi)部的熱沉接觸,從而從信息技術(shù)設(shè)備(ITE)吸收熱量并轉(zhuǎn)移。
? ? ?? 浸沒冷卻。信息技術(shù)設(shè)備(ITE)元件浸沒在非導(dǎo)電液中。非導(dǎo)電液吸收熱量并從元件轉(zhuǎn)移。
? ? ?? 相變非導(dǎo)電流體。非導(dǎo)電液噴霧冷卻信息技術(shù)設(shè)備(ITE)的元件。液體相變成氣態(tài)將熱量帶至另一個(gè)熱交換器,熱交換器內(nèi)的氣態(tài)被換熱帶走熱量后相變變回液體。
? ? ?在這篇文章中,我將重點(diǎn)放在風(fēng)冷信息技術(shù)設(shè)備(ITE)的系統(tǒng),因?yàn)檫@是迄今為止工業(yè)界更普遍采用的方法。
?
房間冷卻
? ? ?傳統(tǒng)的數(shù)據(jù)中心設(shè)計(jì)中,氣流從服務(wù)器吸收熱然后與房間的其他空氣混合,最終回到CRAC/CRAH機(jī)組。氣流通過空調(diào)盤管時(shí)進(jìn)行熱交換將熱量傳遞至CRAC/CRAH機(jī)組內(nèi)的流體。對(duì)于CRAC,流體是制冷劑。對(duì)于CRAH,流體是冷凍水。制冷劑或冷凍水帶走機(jī)房熱量。CRAC/CRAH出來的冷空氣通常溫度為55-60°F(13-15.5°C)。CRAC / CRAH送出氣流至架空地板下的靜壓箱,一般采用恒速風(fēng)機(jī)。許多制造商和設(shè)計(jì)師的標(biāo)準(zhǔn)CRAC/CRAH配置是基于回風(fēng)溫度來控制機(jī)組的冷卻運(yùn)行。
?
設(shè)計(jì)布局與散熱方式
? ? ?雖然在沒人關(guān)注能效的低熱密度房間架空地板與自然冷卻效果良好,然而無法滿足熱密度和能效增長的需求,至少達(dá)不到過去那樣的效果。我曾在一個(gè)傳統(tǒng)數(shù)據(jù)中心用溫度表測量溫度,在一個(gè)機(jī)架底部溫度測得大約是60°F(15.5°C),同一機(jī)架頂部溫度則接近80°F(26°C),另外還計(jì)算了一下PUE遠(yuǎn)遠(yuǎn)超過2。
? ? ?人們開始去使用更佳實(shí)踐以及包括熱通道與冷通道,吊頂回風(fēng)靜壓箱,架空地板管理和服務(wù)器盲板在內(nèi)的技術(shù)來提高架空地板環(huán)境的冷卻性能。這些方法肯定有益,運(yùn)營者應(yīng)該進(jìn)行采用。
? ? ?大約在2005年,設(shè)計(jì)專家和運(yùn)行人員開始試驗(yàn)氣流通道封閉法。這個(gè)想法很簡單,使用物理屏障將服務(wù)器入口冷氣流與服務(wù)器排出的熱氣流分隔。冷送風(fēng)和熱排風(fēng)不再混合帶來了很多優(yōu)點(diǎn),包括:
? ? ??更一致的入口氣流溫度
? ? ??可以提高供應(yīng)白色空間的氣流溫度,增加了能效提高的選項(xiàng)。
? ? ?返回至空調(diào)盤管的氣流溫度更高,通常使得空調(diào)運(yùn)行更有效率。
? ? ?房間可容納更高熱密度的設(shè)備。
? ? 理想情況下,在這樣一個(gè)物理屏障封閉了的環(huán)境,氣流以適合信息技術(shù)設(shè)備(ITE)運(yùn)行的溫度和濕度離開空氣處理設(shè)備后只通過信息技術(shù)設(shè)備(ITE)設(shè)備一次,然后就返回空氣處理設(shè)備再次冷卻。
?
熱通道封閉Vs冷通道封閉
在冷通道封閉系統(tǒng)中,封閉來自空氣處理機(jī)組的冷氣流,同時(shí)服務(wù)器熱排氣允許自由返回至空氣處理機(jī)組。在熱通道封閉系統(tǒng)中,熱排氣被封閉并返回至空氣處理機(jī)組,通常通過吊頂回風(fēng)通道返回(見圖4)。
圖4.熱通道封閉
未來預(yù)測(Crystal Ball)
? ? ?雖然仍在建造和部署非常高功率密度的信息技術(shù)設(shè)備(ITE),但是大多數(shù)信息技術(shù)設(shè)備(ITE)的功率密度并沒有跟上10年前建造項(xiàng)目時(shí)的預(yù)計(jì)增長。Sabey公司6年前設(shè)計(jì)的數(shù)據(jù)中心平均150瓦/平方英尺,并且公司還沒理由去進(jìn)行增加。當(dāng)然,Sabey的數(shù)據(jù)中心可以在需要的地方有限度的容納更高的功率密度。
? ? ?在不久的將來,我期望帶封閉通道的基于空氣的冷卻系統(tǒng)繼續(xù)成為數(shù)據(jù)中心冷卻的選項(xiàng)。從長遠(yuǎn)來看,見到越來越多采用液冷的冷卻技術(shù)我也不會(huì)奇怪。
?
總結(jié)
? ? ? Sabey公司開發(fā)和運(yùn)營的數(shù)據(jù)中心擁有眾多不同行業(yè)和各種規(guī)模的客戶。作為一家服務(wù)提供商,Sabey公司通常不知道客戶需要的技術(shù)或布局。Sabey公司的各個(gè)數(shù)據(jù)中心依托所處位置區(qū)域的氣候條件采用不同的冷卻技術(shù)。在氣候溫和的西雅圖、半干旱氣候的華盛頓中部和紐約市中心都有數(shù)據(jù)中心,他們坐落于單層新建建筑和改造的高層建筑內(nèi)。
? ? ?盡管有著這些變化和不確定性,但Sabey公司的數(shù)據(jù)中心設(shè)計(jì)與運(yùn)行都有一些共性。都采用不設(shè)架空地板的熱通道封閉技術(shù),都有為服務(wù)器出口熱氣流服務(wù)的吊頂回風(fēng)通道與為服務(wù)器入口氣流服務(wù)的開放式房間。這些數(shù)據(jù)中心都采用某種形式的節(jié)能器。Sabey公司盡可能為風(fēng)機(jī)、水泵與冷水機(jī)組采用變速電機(jī),從而實(shí)現(xiàn)即使在輕負(fù)載條件下也能能效運(yùn)行。
? ? ? Sabey已經(jīng)采用了帶有熱通道封閉的多種不同的冷卻系統(tǒng),并且我更喜歡在適合的地理區(qū)域采用IDEC空氣處理機(jī)組(話說這款產(chǎn)品正是業(yè)界有口皆碑的蒙特為數(shù)據(jù)中心量身打造的典范之作哦)。我們發(fā)現(xiàn)這是一種耗水量比其名稱含義更小的非常有效的系統(tǒng)。大部分時(shí)間這套系統(tǒng)運(yùn)行在干式換熱器模式。該系統(tǒng)相對(duì)實(shí)現(xiàn)了非常簡單的控制程序,并且那種簡單性還提高了系統(tǒng)的可靠性。在市政設(shè)施服務(wù)中斷時(shí)該系統(tǒng)能夠快速重啟,一旦發(fā)電機(jī)啟動(dòng)提供了電力,風(fēng)扇就會(huì)繼續(xù)旋轉(zhuǎn)并加速。儲(chǔ)水槽里有著儲(chǔ)存的水,于是蒸發(fā)冷卻過程基本上沒有重啟時(shí)間。Sabey已經(jīng)成功無故障的冷卻著35-40 kW的機(jī)柜。
? ? ?除非廣泛采用液冷服務(wù)器,否則目前主要的節(jié)能途徑仍然是優(yōu)化風(fēng)循環(huán)冷卻氣流,采用封閉通道。
本文翻譯:郜衛(wèi)華
?