近年來,隨著計算機技術的飛速發展,數據中心機房技術的發展更是日新月異,筆者最近三年先后參與了蘇州建行(全國建行系統五大城市行之一)數據中心機房、建設銀行總行蘇州信用卡分中心(存儲和處理中國南方地區的信用卡數據與交易)的數據中心主機房的設計與建設以及蘇州建行新區主機房的改建等項目,在這期間也得到了中國信息化推進聯盟數據中心技術專委會副理事長沈衛東老師等業內專家的指導幫助,參觀學習了上海農行計算機主機房、廈門建行計算機主機房、中國建設銀行數據中心(上海)計算機主機房等業內較先進的數據中心機房,感受頗多。在此,就自己參與的以上項目實踐經驗,總結了幾點在機房建設中值得注意的問題,與大家共同交流探討。同時也希望能起到拋磚引玉的作用,愿能看到更多有價值的經驗與業界的同仁分享。
一、 精密空調容量規劃
近年來,隨著銀行電算化業務量的迅猛發展和以刀片式服務器等為代表的新一代高集成度設備的大量投放到機房中運行,數據中心機房內單位面積的熱負荷正日漸增大,已遠非往昔,不可同日而語,如國家標準(GB50174-93)及中國建設銀行2000年分布的《計算機機房裝修規范》等文件中都將200~250W/m2作為數據中心機房的制冷量標準,而實際上現在裝載著刀片式服務器的機柜,負載容量超過5kW以上是很平常的事,而隨著計算機和大規模集成電路技術的進一步發展,計算機設備的功率密集度將呈現越來越高的發展趨勢,機房內設備功率密集度的增加勢必會導致發熱量也越來越高,如果我們仍按照過去有關標準所規定的200W/m2的制冷量來設計,將無法滿足現今新一代數據中心機房制冷需要。如我們蘇州建行數據中心機房各種計算機設備的裝機容量從2005年7月至2008年1月的兩年半的時間就近翻了一番多,而且增加的多是P550、P570以及大量的刀片式服務器等功率密度非常高的IT設備,整個裝機功率已由原來的66kVA驟增到了目前的138kVA,機房原來尚余占總面積約五分之二的空間也幾乎全被新裝的各種服務器、小型機所逐漸占據,原來我們的精密空調是按照 415W /m2配置的,在2005年9月機房剛啟用之時,整個精密空調幾乎有一倍左右的余量,而現在每當時臨夏季高溫就有捉襟見肘的感覺了,盛夏來臨,最擔心的是鄰近的兩個以上精密空調模塊同時發生故障,如果這樣就極易造成機房局部區域制冷能力不足而導致過熱的現象發生,據了解,像這種因對機房內設備功率增加估計不足而導致機房空調制冷無法滿足需求的情況是相當普遍的,如果我們在早期對機房日后負荷的增加估計不足,今后想要在已經正常運行的機房中再進行空調增容,安裝新的精密空調,其難度與風險都將是非常大的,因為在負荷很大的機房中要想關掉精密空調一個甚或半個小時再施工,實際上是不太現實的事情。尤其值得注意的是新增空調當其數量眾多的銅管在運行著的機房內燒焊時,稍有不慎就會因機房內運行空調出風助燃火勢而引發火災等重大事故。因此,好的辦法是能夠在機房初期規劃階段就對這些問題都予以充分的考慮,放足余量。根據目前計算機設備的制冷需要并考慮到今后一段時間內的發展需求,我們認為,數據中心機房的精密空調制冷量至少應配置到每平方米700W左右,密度特別大的機房甚至還要放大。
二、 UPS三相輸入的零線線徑要適當加粗
按照通常的電工標準和經驗數據,零線線徑一般取相線的50% ~75%,而實際上,由于計算機機房內小型機、服務器等容性負載的非線性特性和由此而帶來的諧波等的干擾以及三相負載不平衡的影響等,使其零線電流往往要接近或者超過相線的電流值,有的地方甚至還會出現零線電流加倍超過相線電流的情況。因此,如果我們的零線不具有能夠承載足夠載流量的線徑,就會使零線線阻變得很大,零線電壓(零地電壓)隨之升高,嚴重的還會使零線的導線發熱,甚至造成零線開路(脫零)等嚴重事故。根據我們的經驗,在以容性負載為主的計算機機房中,建議將UPS三相輸入的零線線徑放寬到相線線徑的1.2 ~ 1.5倍,這樣可以十分有效地減少諧波的干擾,降低零地間的電壓。
三、 關于“零地短接”問題
我們建行總行蘇州信用卡分中心機房建成后發現,UPS輸出端的零地電壓高達3.6V居高不下,當時考慮過用再打接地樁的辦法來抑制零地電壓,卻因該大樓位居鬧市中心,周圍全被高樓大廈包圍,實在難于實施;但如果放任不管,則如此高的零地電壓對于主機房內重要的計算機設備的上線使用,存在嚴重隱患。因此,我們嘗試用零地短接的方法來消除零地電壓,因為一旦零地短接,零地電壓必然會下降。然而按照過去的規定,供配電采用“TN-S”接法的電源系統是嚴格禁止將零地進行短接的,怎么辦呢?之后,我們參考了大量資料后,在《建筑電氣工程施工質量驗收規范》(GB50303 - 2002)中找到了答案,該規范的第9條在關于不間斷電源安裝中的 9.1.4 款中明確指出:“不間斷電源輸出端的中性線(N極)通過接地裝置引入干線做重復接地,有利于抑制中性點漂移,使三相電壓均衡度提高。同時,當引向不間斷電源供電側的中性線意外斷開時,可確保不間斷電源輸出端不會引起電壓升高而損壞由其供電的重要用電設備,以保證整幢建筑物的安全使用 ”。因此,我們在經過反復討論后決定在機房UPS輸出尚未接上重要負載之前,按上述接法接上若干臺舊的微機與服務器試運行了一段時間,發現一切正常,這才正式將IBMP550、P570、NET7000等數十臺小型機和服務器等上線運行。上線至今的二年里該UPS供電系統一直保持著良好的運行狀態,從未損壞過一個電源或硬盤。實踐證明,《GB50303 - 2002》規范中關于UPS電源輸出零地必須短接的要求不失為一種切實可行的好辦法。
四、 互為備份的UPS備份余量必須充足
互為備份UPS就是指當一臺UPS出現故障無法運行時由另一臺UPS將它的負載全部接管過去,同時不允許產生任何短時間的停電間隙。因此對互為備份的兩組UPS來說都必須具備足夠的承載余量,否則的話,一旦切換,后果將不堪設想,如某單位有兩組UPS,2*100kVA冗余的一組加100kVA單機的一組,它們分別供給雙電源服務器的兩個電源輸入插座中,其中雙機冗余的UPS目前每臺的三相負載分別為 25%、27%、24%;單機UPS目前的三相負載分別為47%、49%、46%,雖然看起來它們的負荷都不算大,但是從原理上而言,該UPS系統實際上已經失去了互為備份的作用,在本例中如果單機UPS發生故障時其負載切入冗余并機的UPS中是完全沒有問題的,因為切入時冗余并機UPS每臺的各相分別只承載單機UPS負載的 23.5%、24.5%和23%,加上冗余并機UPS本身的負載一共也只有 48.5%、51.5%、47%的負載,余量還是非常之大;但是當并機UPS發生故障時,則切到單機上的將分別是 50%、54%和48%,加上單機原來的負載,總共負載為 97%、103%、94%顯然已經超出了單機UPS的負荷承載能力,一旦切換必將會引起單機UPS的宕機(三相電源中任何一相超載都會引發宕機事故)。
五、 關于機房裝修中的幾個結構方面的問題
1、因為計算機機房建成后在相當長的一段時間里經常還將會有各種計算機設備進入或移出主機房,而到時的路徑就是包括各道隔斷門和通道門(包括消防安全門)等在內的機房通道,不到萬不得已是不可能去拆除隔斷或玻璃的,因為彩鋼板、玻璃等拆了以后即使裝得再好,也總會留下形狀、色差等的不協調之處,給我們漂亮的機房帶來難以挽回的缺憾。因此,在機房設計之初,就必須充分考慮到日后大型設備進出時的尺寸所需,如門的高度要有2200mm,因為現在很多計算機設備高度都是達到2000mm的,搬運時還必須考慮到裝載設備的車的高度;橫向盡量做成雙開門,尺寸應不小于1500mm。轉角的尺寸也要考慮到今后比較長的設備能轉得進去,而消防應急門平時一般不開啟,所以不如將其做得大一些,以備今后應急之需。今后計算機設備的數量和功率密集度的發展趨向難以預計,因此,空調、UPS等設備的擴容也將是很多見的事情,因此像此類大型設備的日后增容等情況也都必須要加以充分的考慮。
2、 新風機盡量不要裝在吊頂上,有些地方在機房建設時為了節省空間和使機房下面顯得更為整潔,將新風機裝在吊頂上,實際上這樣做給日后的維護修理帶來了無窮的麻煩,因為這樣一來每次檢修都必須要爬上3米左右高的頂上,還得拆掉吊頂板,才能實施。因而有些地方實在怕麻煩就干脆不做清理維護或干脆將新風機內的濾網全部拆掉。但事實上不進行清理除塵等維護,風阻會逐漸增大而新風量會變得很小;如果將新風機的濾網拆去,則會使室外的灰塵失去阻攔長驅直入,機房的凈化保潔功能從此無法實現,長久下來,必將會影響到計算機設備的安全正常運行,而按照正常要求新風機一般每二個月就必須要更換一次濾網,因此,我們在設計時應該盡量將它安裝在容易進行維護操作的地方,使它的功能能夠正常發揮,其次再考慮機房的整潔與美觀等。
3、VRV空調的下水管道不得并入大樓雨水管 VRV空調因為其具有吸頂的內機和集中式的外機以及自上而下的送風形式等特點,因此不失為一種節省空間、節省電力,并且能給人員帶來舒適感的空調設備,因此,在現代化人機分離的計算機機房中,除了主機房等機器設備密集的地方,如監控機房、終端設備機房等操作人員集中的地方一般都會采用VRV空調來滿足機房操作人員的需求,但是因為VRV空調安裝在機房之中,受環境與空間等因素局限,給它冷凝水的泄放帶來了困難,有的工程承包公司為了圖省事,往往將其下水管道直接接入到大樓的雨水管中,其實,這樣做的危害是相當大的,雨水管因其有時的設計流量非常小,容易引起泥沙等的淤積,而淤積后一旦碰上下大雨,雨水來不及排出,就會從VRV空調冷凝水管接入口處外溢,有時外溢水量甚至很大,威脅到整個計算機機房的安全。為了避免日后事故隱患的發生,我們應當在機房建設之初即行嚴格把關,將VRV空調的冷凝水下水管單獨鋪設,這看起來算不上什么大事,但如果不注意也會給我們帶來不小的麻煩,而當機房投入運行后再要整改就是難上加難了。
4、精密空調下水管的管徑尺寸應盡粗,距離應盡短,坡度應盡大,精密空調的冷凝水不像自來水上水管那樣具有較高的壓力,可以將泥沙沖走,冷凝水一般流速都比較緩慢,因此管徑細、距離長、坡度小的下水管極易造成泥沙淤塞,淤塞后冷凝水失去下水通道,無路可走就會從精密空調積水盤中溢出,在機房內形成水患,管徑越細、距離越長、坡度越緩的下水管則越會加劇泥沙的淤塞,一般來說,淤塞發生的程度與下水管道的長度成正比,與管徑和坡度成反比,因為坡度受到地板下高度和空調類型的制約,一般比較難以改變,因此,我們在選擇冷凝水出水口位置時應盡量選取離精密空調距離較近的地方,如距離遠、管道長的問題實在無法解決,則我們可以用適當放粗管徑的辦法或將冷凝水管的一部分穿過樓板在下層的吊頂上來加大坡度的辦法予以彌補和解決。