高密度機房降溫技術解決方案

    高密度數據中心機房如何降溫？機房整體溫度不均甚至造成機房過度制冷，不僅浪費了電力資源還增加了額外的支出。所以說機房降溫固然重要，但是解決高密度問題也是一大重點。今天我們就從解決數據中心高密度的幾個關鍵技術入手選擇適合精密空調與制冷解決方案。

    解決數據中心高密度設計問題

    當前不計成本的高性能計算時代已經一去不復返了，解決尖端問題的高端系統同樣也必須降低成本。為了避免由于服務器爆炸性增加而造成機房面積過快擴大以及隨之而劇增的各種運行維護費用，機構數據中心要求大幅度縮小服務器（以及存儲設備和網絡通信設備）的占地面積、提高計算密度、發展高密度計算。

    這一方面要求采用新的服務器設計和器件實現更高的計算密度，另一方面要求建設能夠支持高密度計算機系統安全穩定運行的數據中心，即高密度計算數據中心。

    建設高密度數據中心注意點

    高密度數據中心雖然與大多數數據中心一樣也必須致力于提高能效，但它們在供電和散熱兩方面都對機房基礎設施的容量規劃和電源和制冷設施建設提出了更高的要求。從設計角度來分析，建設高密度數據中心必須從如下三方面著手：

    1.合理配置機架和空調設備，通過定量計算每個機架的功率密度和熱負荷，優化服務器設備在機架中的布局以及機房內機架和空調的布局，為高效供電和散熱創造條件；

    2.優化供電設施，給每個機架供給足夠和適度的電力，滿足高密度計算的需要；

    3.優化散熱制冷系統：把高密度計算元器件在每個機架內部產生的高熱量帶出機架，避免由于局部高熱點而影響設備的穩定運行，甚至損毀部件、造成災難性的后果；>>

    數據中心制度保障是關鍵

    合理規劃機房布局，機柜采用冷熱通道分離，冷通道完全封閉等措施，優化氣流組織，從而大幅提高空調制冷效率；提高設備運行率：配電、制冷系統均有最大效率運行點，提高設備運行率發揮設備最大效率，有效減少能源的損耗；創新節能思路：合理采用新技術、新方案。妥善密封數據中心環境、優化氣流組織、適當使用節能裝置、提高制冷系統效率、靠近散熱源制冷五點，這樣能將低30%至45%的制冷系統能源成本，節省大量經常性開支。結合諸多新興技術，如高效處理器和基于芯片的新制冷技術，即使服務器密度和能源價格持續上升，上述措施依然能夠將能源成本保持在較低水平。

    如何更好有效措施保證機房安全，應對極端高溫、高濕、雷暴等天氣給機房帶來的不良影響呢？

    建立機房應急機制

    首先是建立監控預警機制技術部門分析歷年氣象數據并結合氣象部門發布的近期天氣預報信息，及時發出預防性調整通報；例如：在極端天氣出現時如何調整設備設定狀態、備用發電系統測試檢查、后備燃料調配、防雷設施及接地系統檢查等。l設施監控人員密切關注環境監控數據（機房內外溫濕度、空調系統、配電系統、消防系統運行狀態），如發現監控數據有異常，監控人員將按照相應程序進行匯報、提取數據、分析原因等，將可能發生的問題消滅在萌芽階段。

    其次是人員應急調度機制建立應急事件領導小組，在極端天氣發生時，做到“預警”、“分析”、“處理”三步，領導小組分析天氣狀況可能會對機房運行造成風險，對相關運行部門提出運行建議；極端天氣狀況發生后，分析監控數據、借助人員巡檢信息，及時調整或變更運行方案；相關專業技術人員隨時待命，留守設備現場，以備設備故障后的排險、修善工作。

    最后是建立應急機制制定IDC安全運行應急機制，例如《火災應預案》、《電力系統故障應急預案》、《制冷系統故障應急預案》等；以電力故障-市電中斷為例：預案中制定了詳細的發電機啟動切換流程、后備燃料供給措施、人員調配措施、故障通報流程等。

    高密度機房供電系統

    高密度計算數據中心中的機架經常是滿載的、功率很大，過去一個機架功耗為2-3kW，現在卻往往高達20-40kW.早期的機架配電方式已經無法滿足高密度設備機架不斷增長的電力需求。因此，必須采用創新的機架配電技術來滿足為高密度機架供應充足的電力并確保持續穩定運行的要求，包括：

    1.支持通過冗余電源實現設備的冗余操作：冗余電源系統需要兩個配電電路，分別用于兩個電源總線。如果一個總線出現故障，另一路總線仍可處理整個系統的負載。

    2.支持高電壓和三相電源：傳統數據中心利用單相電流工作，其功耗已經不能滿足現代高密度計算的需要。因此要求改用三相電源，使用稱為高電壓交流電源的208伏、三相系統。三相電源通常比單相電源更加高效。此外，與單相電源相比，三相電源更為穩定，更多時間都可處于峰值電壓，降低供電損失和發熱，不僅能夠為滿載刀片服務器的機架提供足夠功率，而且能夠更加穩定持續供電，確保系統的安全穩定運行，從而為支持高密度數據中心供電提供一種通用且經濟的電源。

    3.使用分段配電技術，能夠降低由于過載或維護所引發的意外宕機機率，并減小管理員連續打開多個服務器組而產生的浪涌電流，提高供電的安全性。

    4.采用節電配電機柜：通過將數據中心的集中配電改為區域配電方式，將配電管理移到“區域”級，解決了從機箱到機架的集成電源管理問題，并提高供電效率。

    5.提供電路監控功能：通過部署可持續監控電流負載的組件，數據中心可以使用少量人力實現高效運行管理。各系統可輕松實現配電電路負載均衡，防止因過載或設備損壞而引發的意外宕機。為了簡化管理，用戶可以選用模塊化PDU管理模塊，利用它們來監控數據中心的電源環境。當前市場上已有很多新型配電裝置（PDU）可供選擇，其中惠普公司新型的模塊化PDU在每個機架上集成了插座、電纜與斷路器，提供一系列領先的特性支持高密度機架穩定安全穩定運行和節電。>>

    高密度機房制冷轉變

    優秀的數據中心制冷方案具有4個基本原則，特別是高密度負載數據中心：向設備通風口送入溫度適宜的足量空氣；最小化冷/熱空氣混合；控制到空調的回流氣體路徑；最大化到空調的回流氣體溫度。如果正確實施，遏制可以幫助實現這4個原則。

    究竟什么是遏制呢？

    冷/熱通道設計旨在減少冷/熱空氣混合的發生，遏制將這個目標提高到了一個新的水平，冷/熱通道朝前邁出了一大步，使得給高密度負載降溫成為可能，但隨著熱輸出量的增加，一些之前頻現的空氣混合問題又開始慢慢出現了，其主要原因很容易識別和解決。

    如果存在開放的空間，則熱空氣不能留在熱通道內，冷空氣不能留在冷通道內，因此，機柜中的所有開口必須堵住，防止熱空氣在計算機和非連續機架之間的空間重新循環，同時也防止寶貴的冷空氣從這些開口流失，在未使用的機架空間使用空白擋板的原則最容易被大家忽略，它會導致大量無效的數據中心制冷，浪費能源。

    但還有兩個因素需要考慮：熱量增加后，風扇將會帶走它們能帶走的熱空氣，隨著熱量密度的增加，熱空氣會溢出機架的頂部，再次返回到服務器，隨之設備需要更多的冷空氣，最顯著的解決方案的是在這些地方設置障礙，在通道的末尾設置墻體和門，將機柜頂部通道塞進天花板，這就是所謂的遏制。

    熱空氣現在完全被捕獲到熱通道，因此它不會泄露，冷空氣被控制在冷通道中，因此也不會被浪費掉，看起來很簡單，但真的是這樣嗎？我們進一步分析下。

    熱通道遏制

    熱通道遏制通常比冷通道遏制更容易讓人接受，在能源效率方面有一個小小的優勢，其支持者提醒其它空間和冷通道擁有一樣舒適的環境，不需要做任何制冷，根據ASHRAE修訂的數據處理環境熱量指導原則，溫度應該在75°F（23.9°C）左右，另一個版本預計很快就將發布，它可能會為某些設備分類再次擴大溫度和濕度范圍。

    大部分空間的溫度都保持在合理范圍內，因此設備風扇可以從任何地方吸入空氣，雖然我們應該盡力給硬件提供充足的空氣，但也不用像冷通道遏制那樣控制得那么嚴格。

    熱通道遏制主要的缺點是工作環境，溫度可能會達到95°F或更高，這可不是什么舒服的工作環境，但與流行的看法相反，它不會超出OSHA標準，為了降溫，一些設計在控制區域引入了適量的冷空氣，使溫度保持在可接受的范圍，但很明顯，這會抵消掉遏制解決方案獲得的效益。

    冷通道遏制

    數據中心制冷遏制方案是否靈丹妙藥？

    不同回流空氣溫度時典型的CRAH額定容量

    冷通道遏制一個最大的好處是可以使用地板下或數據中心頂部制冷模式，通道易于填充冷空氣，防止熱空氣混入，確保所有可用的冷空氣都可以輸送給設備，最大限度地減小機架頂部和底部之間的溫度差異，使用地板下空氣輸送時，冷通道遏制特別有用，因為冷空氣下沉，使地板下空氣供應完全違反了物理學定律。

    當冷空氣通過地板瓷磚開口向上推時，它只會上升到某個高度，除非有什么力量再推它一把。計算機內的風扇通常會把熱空氣向上推，但它仍然會變得越來越熱，如果我們可以從地板到天花板完全遏制冷通道，它交付的空氣溫度將趨于穩定。

    正如前面提到的，冷通道不需要低到55°F，新的ASHRAE將上限提高到了80.6°F（27°C），因此冷通道溫度在75°F時是非常安全的，這個溫度允許你加大機房空調單元的凝結點，這樣可以節省大量的空調能源。但反對者指出，其它空間現在基本上都成了一個熱通道，可能會達到95°F或更高，除了冷通道外，其它一切都變得不舒適。

    冷通道遏制真正的挑戰是空氣平衡和控制，計算機設備需要一定數量的空氣進行制冷，當空氣輸送給冷通道時，你需要確保可以充分調整開孔或地板開口，或天花板上方的鐵格子。>>

    高密度機房機架配置

    機架是數據中心機房內安裝各種設備（服務器、存儲和網絡設備等）的重要組件，也是整個散熱基礎設施的重要組成部分。例如，各種服務器、存儲與網絡設備的機箱就是插入在機架中，通過各種線纜聯接成為高密度計算系統。因此，解決好機架的供電和內部的散熱等問題是提高高密度計算系統散熱效率的關鍵。

    為此，首先要合理配置機架內部設備。隨著服務器功耗的提高，傳統的數據中心往往不得不把機架大多數容量空置、來避免供電不足和過度發熱，這顯然不利于高密度數據中心的建設。反之，如果機架過滿又很可能會超出機房供電和散熱的能力。

    因此，必須從定量計算機架功率密度和熱負荷出發、合理配置機架內部設備，從而充分利用機房供電和散熱的能力，奠定建設高密度數據中心的基礎。至于，如何計算在一個標準機架中可以容納多少臺這樣的服務器和估算一個機架內服務器的功耗會更加困難。

    因為計算功耗需要參考多個變量（如每個機架內的服務器數量、每臺服務器組件的類型和數量等）。對于機架而言，一個非常有用的標準是功率密度，即每機架單位的功耗（瓦/單位）。功率密度包含了機架密度所涉及的所有變量。實際上，計算機所消耗的電源幾乎全部都轉變成了熱量。計算機所產生的熱量一般以英國熱量單位BTU/小時來表示，1瓦等于3.413BTU/小時。

    因此，可以按照下式來計算出機架熱負荷：熱負荷=功率[瓦]x3.413BTU/小時/瓦。例如，一臺惠普公司制造的DL360G4服務器的熱負荷為：460瓦x3.413BTU/小時/瓦=1，570BTU/小時。一個42U機架容納DL360G4服務器的熱負荷將近65，939BTU/小時。數據中心的配置主要環繞功耗和熱負荷與機房供電和散熱能力的配合。

    IT設備廠商一般會在其產品規格中提供功率和熱負荷信息，在設計高密度數據中心時，必須根據廠商提供的數據估算每機架的功率和熱負荷，進行數據中心機房規劃。

    規劃中，需配置足夠的電源、并留有足夠的余量，既要避免因配置容量不足而影響設備正常運行，又要避免因留有余量過大而導致能效降低。在設計和建設高密度計算數據中心時必須評估各種設備的電源需求與熱負荷，進行合理的機架配置。

    比較好的方法是靜態智能散熱技術，通過使用流體動力學模型進行模擬、根據已明確的數據中心設備的熱負荷，來確定冷卻資源的最佳布局和供應量。它可以將每一個空調設備的散熱負荷與其額定功率進行比較，以判斷空調設備是否得到了高效的利用或過分“供應”。>>

    高密度的數據中心布線

    高密度的數據中心中，傳統的主干和水平鏈路配置（如常見的每個EDA機柜接入24根雙絞線或24芯光纖）已經不能適應刀片式服務器及SAN存儲設備的需求，而由端口數量增加引起的機柜安裝單元的占用又與昂貴的數據中心單位面積成本形成極大的矛盾。

    面對挑戰，大量新的布線技術應運而生，如采用屏蔽銅纜系統提高線纜和連接硬件的安裝密度，采用刀片式跳線杜絕高密度環境跳接插拔誤操作的可能性，采用光纖預端接系統簡化線纜布放和端口連接，采用角型配線架減少水平理線架的數量，采用機柜間垂直空間安裝跳接端口等。

    但是6A系統因需考慮外來串擾的影響，線纜外徑和端口間距均較以前的布線類別有所增加，無法順應高密度數據中心的發展趨勢。而Z-MAX6A銅纜系統采用創新的推拉式RJ45設計，使跳線可以更快的移動、增加和變更，特別適合48端口的機架式交換機和插卡式交換模塊。配合另一個專利的LockITTM技術，還可以給每個BladePatch刀片式快接跳線的插頭端增加一個安全鎖，防止了未經授權的端口訪問，提高了數據中心的安全性和可靠性。