１ 引 言

 

  在云計算席卷全球、云計算產業發展浪潮風起云涌的背景下，建設綠色數據中心、實現節能減排成為了近年來學術界和產業界關注的話題之一．傳統數據中心企業原有的數據中心如何盡快轉變成適合云計算要求的云計算中心，也是迫切需要解決的問題．以谷歌、亞馬遜為代表的互聯網巨頭在從傳統內容服務商向云計算服務轉型的過程中，需要規劃和建設規模巨大的數據中心．

 

  與傳統數據中心相比，云計算數據中心的新特性主要體現在：（１）模塊化的標準基礎設施．針對數據中心的云服務需求，云數據中心對服務器、存儲設備、網絡等設施按工業標準進行模塊化配置設計，使其具有適應性與可擴展性；（２）虛擬化資源與環境．云數據中心廣泛采用虛擬化技術將物理資源聚集形成一個共享虛擬資源池，從而更加靈活高效、低成本地使用資源；（３）高可靠自動化管理．云計算數據中心應是２４×７無人值守的、可遠程管理的，實現設備到應用端到端的統一管理．為確保穩定、安全、持續的系統連接，云數據中心需建立高度可信賴的計算平臺、網絡安全威脅防范，建設數據復制與備份、容災中心；（４）快速的可擴展能力．隨著大數據爆炸式增長以及用戶需求的可變多樣性，云數據中心必須根據業務應用需求和服務質量來動態配置、定購、供應虛擬資源，具有資源利用的快速擴展能力；（５）節能與節省空間．云計算數據中心將大量使用節能服務器、存儲和網絡設備，并通過先進的供電系統和散熱技術，實現供電、散熱和計算資源的無縫集成和管理，解決傳統數據中心的過量制冷和空間不足的問題．然而，高能耗、高污染一直制約著云數據中心的發展．據統計，如果將全球的數據中心整體看成一個“國家”的話，那么其總耗電量將在世界國家中排名第１５位［１］．由于數據中心６０％的運營成本來自于能耗，因此如何降低能耗以節省云服務商不斷攀升的電費成本、緩解日益嚴重的碳排放污染，是云數據中心可持續發展過程中亟需解決的問題．

 

  本文從綠色數據中心評價標準、新能源的特性、新能源產電模型與預測機制、數據中心能源配額規劃、作業調度機制以及負載均衡機制等方面，對云計算數據中心的綠色能源應用研究進行分析．

 

  本文第２節介紹綠色云數據中心的現狀與挑戰；第３節分析新能源評價標準、新能源的特性和可選擇利用種類；第４節介紹研究分類評價標準，并據此對目前研究現狀進行對比分析；第５節分別從新能源模型和預測機制、數據中心能源配額規劃、新能源數據中心內作業調度機制和新能源數據中心間負載均衡機制４個方面，對綠色數據中心的最新研究進展進行分類比較，并總結國內綠色數據中心的研究現狀；最后對全文進行總結，并提出未來值得進一步研究的方向．

 

  ２ 綠色云數據中心的現狀與挑戰

 

  ２．１ 云數據中心不斷增長的能耗

 

  日本經濟貿易產業省ＭＥＴＩ預測，全球ＩＴ能耗將于２０２５年翻５倍，而到２０５０年將增長１２倍①．大量的能耗使得像Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ和Ｆａｃｅｂｏｏｋ這樣的ＩＴ公司每年的電費就高達幾百萬美元．雖然近年來低功耗服務器和數據中心能效優化領域已經取得了顯著進步，但隨著數據中心系統規模和服務器數量的增長，其總體能耗仍然呈持續快速增長趨勢．例如，Ｆａｃｅｂｏｏｋ基礎設施的規模大約每６個月就翻１倍———從２００８年４月的１０Ｋ臺服務器增長到２００９年１１月的３０Ｋ 臺服務器，并于２０１０年６月達到了６０Ｋ臺服務器②．表１顯示了典型企業和機構的服務器數量、能耗需求及電費．

 

  面對上述巨大能耗需求，目前電力能源主要還是源自于化石燃料，如表２所示，化石燃料發電量占到全球電能比例的２／３．盡管不同地區的各種能源比例不盡相同，但綠色能源還遠未得到廣泛應用，特別是為數據中心配備綠色能源更是充滿了機遇與挑戰．

 

  ２．２ 云數據中心對新能源的需求

 

  最新統計數據表明，平均建設一個額定功率為１００ＭＷ 的電廠將花費６０～１００百萬美元，并在其生命周期中排放超過５０百萬噸的ＣＯ２．相比之下，全球數據中心在２００７年排放了１１６百萬噸的ＣＯ２，而且ＩＴ設備的碳排放量占據了全球碳排放量的２％．隨著二氧化碳排放量劇增、全球氣候變暖日趨嚴重，云計算相關企業或機構無疑都將受到越來越多的成本約束和環境法規限制．

 

  近年來，學術界和工業界一直通過各種方法改善數據中心能效（Ｅｎｅｒｇｙ Ｅｆｆｉｃｉｅｎｃｙ），如利用更好的能耗均增（Ｅｎｅｒｇｙ Ｐｒｏｐｏｒｔｉｏｎａｌ）計算技術（包括虛擬化、動態開關服務器、負載整合、ＩＴ設備的深度休眠和功耗模式控制），更高效的電力配送及冷卻系統．但是，改善能效并不等于就實現了綠色計算，因為數據中心消耗的仍然是傳統的高碳排放量的能源．綠色和平組織（ＧｒｅｅｎＰｅａｃｅ）定義實現綠色ＩＴ的方式是“高能效加新能源”（Ｇｒｅｅｎ ＩＴ＝Ｅｎｅｒｇｙ Ｅｆｆｉｃｉｅｎｃｙ＋Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ）［５］．為了減少能耗開銷和碳排放量以實現綠色計算，充分利用新能源才是根本途徑．新能源一般是指在新技術基礎上加以開發利用的可再生能源，包括太陽能、生物質能、風能等．隨著常規能源（煤炭、石油、天然氣）的有限性以及環境問題的日益突出，環保、可再生的新能源越來越得到各國的重視．

 

  能源領域對于綠色可再生能源的研究（如太陽能、生物能的利用）從未停歇，而這股潮流隨著云計算的到來，同樣走向了數據中心．綠色和平組織通過對全球ＩＴ公司的數據中心清潔能源進行評級，來倡導和激勵數據中心使用新能源．同時，各國政府也紛紛制定鼓勵節能減排的法規和政策．例如，美國加利福尼亞州規定到２０２０年其市政電力中３３％要來源于新能源［６］．此外，美國還提出多種激勵補貼方式鼓勵新能源的應用．例如，生產稅收抵免（ＰｒｏｄｕｃｔｉｏｎＴａｘ Ｃｒｅｄｉｔ，ＰＴＣ）政策規定在新能源設施運營的前１０年內，每生產一千瓦時清潔能量將獲得２．２美分補貼．

 

  新能源不但能夠顯著減少高碳電廠的溫室氣體排放，而且具有光明的經濟前景，是減輕未來電力價格上漲壓力的一種新途徑．例如，用戶在安裝了新能源或者購買了新能源產品之后，可以在多年內（如２０年）擁有固定的能量價格．如果數據中心所在地區需要征收煙碳排放稅，或者實行限額與交易（ｃａｐａｎｄ－ｔｒａｄｅ）政策（每家企業都給了一定量的排碳限額，在限額之內排碳免費；未用完限額可以賣給那些碳排量超過配額的企業），那么對新能源的投資將具有較高的性價比．

 

  ２．３ 當前云數據中心不夠“綠色”

 

 

        隨著不斷下降的工藝制造費用以及大規模的投資和政府激勵，部署建設新能源的設備（如太陽能光伏電板和風渦輪）費用不斷減低．例如，太陽能的安裝建設費用從１９９８年的１０．８７$／Ｗａｔｔ下降到２０１０年的７$／Ｗａｔｔ①．風渦輪電能的價格更是達到歷史最低值：２０１１年價格僅為１．３３$／（ｍ·ＭＷ－１），相比于２００９年的１．０６$（ｍ·ＭＷ－１）下降了７％，而相比于２００７年的１．２１$（ｍ·ＭＷ－１）下降了１９％②．現在，越來越多的ＩＴ企業和機構正在逐步實現完全或者部分新能源驅動的數據中心，例如Ｇｒｅｅｎ ＨｏｕｓｅＤａｔａ建在美國懷俄明州的風能供電數據中心③和Ｆａｃｅｂｏｏｋ建在俄勒岡州的太陽能數據中心④．ｅＢａｙ在２０１２年４月份決定使用３０個Ｂｌｏｏｍ Ｅｎｅｒｇｙ的燃料電池來為其在猶他州的數據中心供能⑤．Ａｐｐｌｅ將使用太陽能廠和燃料電池站生產６０％的電力來驅動其在南加州的數據中心①．２０１２年４月，綠色和平組織發布了一份名為《Ｈｏｗ Ｃｌｅａｎ ｉｓ Ｙｏｕｒ Ｃｌｏｕｄ？》的報告，對著名ＩＴ企業的數據中心做了綠色能源評估．其中，在清潔能源所占比例上，戴爾公司以５６．３％的比例排在首位，Ｇｏｏｇｌｅ和Ｆａｃｅｂｏｏｋ分別以３９．４％和３６．４％排在二、三位．由于戴爾是近幾年才轉型到數據中心解決方案業務，所以其新型數據中心清潔能源所占比例較高．相比于老牌的ＩＢＭ、Ｍｉｃｒｏｓｏｆｔ、Ｏｒａｃｌｅ公司等，Ｇｏｏｇｌｅ和Ｆａｃｅｂｏｏｋ則是近來發展起來的互聯網巨頭，更容易采用新技術和轉變能源來源，因此其綠色能源占據的比例較高也在情理之中．在其它指標中（如數據中心選址、能源效率及溫室氣體排放、能源回收二次利用），能夠達到代表綠色環保的Ａ和Ｂ級別的企業很少．此外，大部分中小型ＩＴ公司由于資金和技術原因，其數據中心更難采用新能源．綜上所述，新能源在數據中心的應用還有很長一段路要走．

 

  ２．４ 云數據中心仍然需要混合能源

 

  ２０１２年６月２９日，大規模雷暴雨襲擊了美國東一區，導致著名的亞馬遜云服務Ａｍａｚｏｎ’ｓ ＷｅｂＳｅｒｖｉｃｅｓ（ＡＷＳ）中斷，嚴重影響了基于ＡＷＳ的應用服務商，如Ｎｅｔｆｌｉｘ，Ｉｎｓｔａｇｒａｍ 和Ｐｉｎｔｅｒｅｓｔ②．此前，亞馬遜在２０１０年就曾經歷了一周內４次電力故障，導致所提供的云服務中斷③．這些促使人思考一個問題：現在是時候讓數據中心的運營者考慮完全使用非電網的能源嗎？尤其是現在部分運營商已經成功實現自己生產部分電能，而用傳統電網作為備用電能．

 

  顯然，電網仍然是為數據中心供電的最重要和最優先方式．電網更加穩定可靠，而且考慮到數據中心能耗一般在２０ＭＷ 到１００ＭＷ 之間，這樣大規模的需求很難通過新能源來滿足．亞馬遜Ｗｅｂ基礎架構專家Ｊａｍｅｓ Ｈａｍｉｌｔｏｎ指出，Ｆａｃｅｂｏｏｋ在俄勒岡州建設的１００ＫＷ 的太陽能電站對于其能耗２５ＭＷ的數據中心來說仍然遠遠不夠④，僅夠用來為數據中心照明，或者僅相當于一個高密度服務器機架的能耗．此外，Ａｐｐｌｅ的ｉＤａｔａｃｅｎｔｅｒ使用２０ＭＷ 的太陽能電廠來為１００ＭＷ 的數據中心提供部分電能．為此，Ａｐｐｌｅ需要清理掉１７１英畝的土地來放置足夠多的太陽能電板．太陽能電廠在夜晚不能發電，而且在白天太陽能也是變化的，這導致了僅僅只有部分可用的電能產出．據Ｈａｍｉｌｔｏｎ估算，額定２０ＭＷ的太陽能電廠只有１５．８％的產出，即約３．２ＭＷ．據此，如果Ａｐｐｌｅ想要為整個數據中心供電的話，需要擴建２４．４倍大的太陽能電廠，達到額定４８８ＭＷ，占地４１７２英畝．

 

  由此可見，目前數據中心仍然不適合完全脫離傳統電網．雖然利用新能源能夠改善數據中心帶來的環境問題，但是不能完全代替傳統高碳電能．如何協同配合傳統電網和新能源的各自特點，仍然是未來的一個研究方向．

 

  ２．５ 綠色云數據中心研究面臨的挑戰

 

  不同于依賴傳統高碳能源的穩定供給電網，新能源往往是不穩定的、間歇性的、動態變化的．為了緩和這種可變性，數據中心可以將綠色能源存儲在電池中或者直接連上電網．但是這些方法會導致能量損失和昂貴的電池費用．尤其是能量儲存設備比較昂貴、改進過程也比較緩慢，不宜大規模采用．此外，建設新能源電廠需要大量的土地．比如，使用太陽能來生產１ＭＷ 的電能需要５～１０英畝的土地（具體數值依賴于安裝的太陽能電板的不同密集程度和不同發電效率）．同樣，風能也需要使用大量的土地，風能項目的平均產電能力為２Ｗ／ｍ２⑤．最大化使用新能源的辦法是根據新能源的供應量來匹配相應的能耗需求（計算任務）．匹配能耗供應與需求有很多待研究的問題：什么樣的計算負載適合于綠色數據中心？采取什么樣的有效技術來匹配動態變化的能耗需求與供應？是否可以允許程序員定制使用哪類節能技術？如何準確預測太陽能和風能的可用量？如何有效管理電池等儲能設備？能否通過全球范圍內的任務分發與調度來最大化利用多區域的新能源？如何選址配額來實現最佳的數據中心收益與開支平衡？

 

  ３ 數據中心采用新能源的途徑及特征

 

  ３．１ 新能源種類及其在數據中心中的應用途徑在數據中心部署使用新能源有就地（ｏｎ－ｓｉｔｅ）電站和離站（ｏｆｆ－ｓｉｔｅ）電廠兩種方式．就地新能源發電廠生產的電力可直接為數據中心供能，例如Ｆａｃｅｂｏｏｋ建在俄勒岡州的太陽能數據中心．其優勢在于幾乎沒有電力傳輸和配送損失．但是位置最好的數據中心（土地價格、水電價格、網絡帶寬、可用的勞動力、稅收等因素），并不一定具有最佳的資源來部署就地新能源電站．

 

  利用新能源的另一種模式就是將新能源電廠建設在具有豐富資源（如風速大或日照強）的離站地區，然后通過電網將新能源產生的電力傳送到需要用電的數據中心．盡管這種方式具有較大的傳輸損失和電網傳送、儲存的費用，但是其電產量更大，而且選址更靈活．由于新能源的不穩定性，上述兩種方式均需要采用儲能設備來緩解產量／供應與消費／需求之間的不匹配，因此相應的儲能開銷（購買費用和管理儲能費用）也被納入當前研究的權衡考慮之中．由于地區原因，許多企業沒有機會自己生產新能源．除了直接參與新能源電廠的建造和使用，還有其它間接的方法實現數據中心節能減排的目的．第一，購買新能源證書（Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ Ｃｅｒｔｉｆｉｃａｔｅｓ，ＲＥＣｓ）．這是指數據中心與新能源項目簽訂長期合同，以較便宜的協議價格購買部分新能源項目的產電量．例如，Ｇｏｏｇｌｅ與新紀元能源公司ＮｅｘｔＥｒａ簽訂的ＰＰＡ 協議規定，Ｇｏｏｇｌｅ可以從愛荷華州艾姆斯市的新能源項目中購買２０年的１１４ＭＷ 的風能，為Ｇｏｏｇｌｅ在愛荷華州的數據中心供電①．第二，與第三方新能源提供商簽訂能源購買協議（ＰｏｗｅｒＰｕｒｃｈａｓｅ Ａｇｒｅｅｍｅｎｔｓ，ＰＰＡｓ）來間接獲得新能源．可再生能源證書ＲＥＣｓ也稱為綠色標簽，是一種可以在市場上交易的能源商品．由專門的認證機構給可再生能源產生的每１０００ｋＷｈ電力頒發一個專有的號碼，證明其有效性．即１ＭＷｈ電力對應于１個單位的證書．綠色證書是可再生能源比例標準的重要一環，它借用市場機制形成了一項對使用者的補貼，并以此鼓勵綠色能源的廣泛應用．第三，購買碳補償（ｃａｒｂｏｎ ｏｆｆｓｅｔ）來抵消非清潔能源使用．購買者計算日常運營直接或間接制造的二氧化碳排放量，并計算抵消這些二氧化碳所需的經濟成本．然后，付款給專門企業或機構，由他們通過植樹或其它環保項目抵消大氣中相應的二氧化碳量．

 

  總之，云計算數據中心采用新能源的途徑有多種．不同方式在開銷、復雜度、資助直接性和公共關系價值等方面不盡相同．如圖１所示，這些途徑分為４個層次：第１種途徑是直接建設就地新能源電站，這種方式最直接支持利用新能源，因此也得到更多的直接資助；第２種途徑是與新能源開發商簽訂使用協議或者成為合作伙伴，獲得離站的新能源，例如能源購買協議ＰＰＡ；第３種途徑是購買高質量的新能源補償，如碳補償；第４種途徑是購買新能源市場產品，如新能源證書ＲＥＣｓ．第３種和第４種途徑相對前兩種途徑更加便宜且簡單方便，但是所獲得的資助和公共關系價值相對較少．

 

  ３．２ 綠色數據中心新能源衡量標準———ＣＵＥ數據中心主要的３個子系統包括：ＩＴ設備（服務器、存儲設備、網絡硬件）；冷卻系統（冷卻裝置和風扇）；配電系統（不間斷電源ＵＰＳ、配電裝置ＰＤＵ等）．電能使用效率（Ｐｏｗｅｒ Ｕｓａｇｅ Ｅｆｆｉｃｉｅｎｃｙ，ＰＵＥ）是衡量數據中心能效的工業標準，其定義為ＰＵＥ＝數據中心總能耗／ＩＴ 設備能耗．盡管ＰＵＥ長期作為數據中心運營者衡量其電力使用效率的標準，但它沒有涉及性能和開銷，更沒有考慮評價綠色環保程度（如消耗的能源的碳含量）．例如，相比于主要依賴煤燃料供能而具有較低ＰＵＥ 的數據中心，一個主要依靠新能源供能的數據中心盡管可能具有較高的ＰＵＥ，但其產生的污染更少．

 

  為了給出標準的方法來評價數據中心的碳強度，綠色網格組織Ｇｒｅｅｎ Ｇｒｉｄ 采用碳使用效率（Ｃａｒｂｏｎ Ｕｓａｇｅ Ｅｆｆｅｃｔｉｖｅｎｅｓｓ，ＣＵＥ）表示每千瓦時用電產生的碳排放密集程度．

 

  碳排放因子是相應能源的碳密度，即消耗單位能量所排放的碳量（ｋｇＣＯ２ｅｑ／ｋＷｈ）．表３給出了最常見的幾種電力能源的碳排放因子，其中石油和天然氣等化石燃料能源的碳排放因子最大．ＰＰＡ 和ＲＥＣ作為新的綠色能源產品，其開銷與碳排放因子與電網和柴油發電機（Ｄｉｅｓｅｌ Ｇｅｎｅｒａｔｏｒ，ＤＧ）的對比如表４所示．更多綠色ＩＴ評價標準參見文獻.

 

  ３．３ 風能、太陽能等綠色能源的特征

 

  太陽能和風能是給數據中心供能的最有前景的兩種綠色能源，原因在于：（１）這兩種能源在全球大部分地區廣泛存在；（２）它們不會像水力發電那樣引起環境影響（大面積的植被被破壞）；（３）它們不會像核能那樣引起核泄漏和廢物堆積問題．因此，目前關于新能源在數據中心應用的研究主要是考慮風能和太陽能．據統計，風能和太陽能分別占全球非水能新能源產量的６２％和１３％①．

 

  由于風能和太陽能發電量與環境條件緊密相關，如風速和日照強度，因此可用電量是不穩定的、隨時間變化的．相應地，它們的容量因子也遠低于傳統電廠（容量因子（ｃａｐａｃｉｔｙ ｆａｃｔｏｒ）是指實際產出與最大的額定產出的比值）．由于有穩定的化石燃料供應，傳統電廠的容量因子可達８０％甚至更高．依據年平均風速的不同，風能的容量因子在２０％～４５％之間②．風能發電的開銷主要是前期的安裝部署開銷，其資金支出占據了生命周期總開銷的７５％．比較而言，傳統化石燃料電廠（如天然氣電廠），其燃料和管理運維開銷則占據４０％～７０％．太陽能光伏發電系統的光伏電板比風能和其它新能源技術更加昂貴．與風能類似，管理運維開銷只是光伏發電系統總開銷的一小部分③．

 

 

新能源最主要的優點就是一旦建設好電廠就可以源源不斷的提供電能，而且管理費用較低，運營過程中不會排放碳等污染物質．盡管在在生產、傳輸、安裝、設備回收利用過程中也會產生碳污染，但是與傳統電網的碳排放因子５８５ｇＣＯ２ｅ／ｋＷｈ相比，風能２９ｇＣＯ２ｅ／ｋＷｈ和太陽能５３ｇＣＯ２ｅ／ｋＷｈ的碳排放因子仍然低得多．

 

  一方面，風能在地理上具有更小的相關性，而且不管白天還是黑夜都能發電．因此，對于面向互聯網規模服務的多區域分布式數據中心而言，風能的可用性具有更小的波動．另一方面，太陽能與數據中心負載都是在白天達到峰值，具有更佳的匹配性．所以，根據當地風能資源的質量及各個數據中心的負載特性，最佳的新能源組合是主要使用風能，而配合使用相對較少的太陽能來處理白天時段的高峰需求．

 

  此外，燃料電池是另一種具有巨大前景的新能源．例如，新能源公司Ｂｌｏｏｍ Ｅｎｅｒｇｙ生產一種固體氧化物燃料電池，能夠通過電化反應將燃料轉化為電．這種新型燃料電池的發電效率是美國電網的兩倍，而且清潔程度比燃煤電廠高出６０％．雖然目前燃料電池較為昂貴，但是其經濟效益正在不斷改善，而且不像其它新能源那樣受限于間歇性．

 

  ４ 新能源研究現狀的分類與比較

 

  基于目前大量針對數據中心如何利用新能源的研究，本節首先總結相關的評價標準，并據此對現有研究進展進行分類對比．

 

  ４．１ 新能源使用策略分類標準

 

  表６歸納了目前數據中心使用新能源策略的分類和評價標準．首要的標準就是時間尺度，它決定采用的機制和策略的更新頻率，可以分為在線策略和離線策略．在線策略是在系統運行過程中實時執行的，時間尺度一般較小，如毫秒或者秒級．離線策略是在系統運行之前就指定好的，時間尺度一般較大，如每小時級的，這類策略通常用于系統設計和資源部署中［９］．

 

  第二，根據數據中心系統結構的不同層次，可以分為單機部件級策略、數據中心整體策略和跨區域數據中心之間的策略．不同層次的策略需要不同的通信量．有些策略需要跨層次的信息通信，或者需要多層之間相互協作．

 

  第三，也可以根據策略所需信息的來源進行分類．例如，策略所作決策可以基于即時信息，也可以基于歷史觀測值，或者基于預測信息（預測一般即取決于即時信息和歷史記錄信息）．

 

  第四，根據數據中心的負載類型不同，策略可以分為即時交互性型服務策略和批處理延遲容忍型服務策略．不同的作業對于性能的要求不同，要求的服務響應時間也不同．例如，Ｗｅｂ服務一般要求實時響應，而后臺處理和科學計算等作業就屬于延遲容忍型服務，只需要在一定時間段完成．

 

  第五，數據中心可以選擇多種能源，不同的策略針對的新能源種類也不盡相同．例如，前面介紹的就地新能源和離站新能源；太陽能、風能、燃料電池；可再生能源補貼金ＲＥＣｓ、碳補償等多種形式的綠色能源選擇．有的策略考慮完全利用新能源為數據中心供電，而有的策略則采用多種新能源組合為數據中心供能．

 

  最后一種重要的分類標準是研究方法，它反映方案的現實可用性和評測方法．具體分為離散時間模擬方法、設計原型系統、形式化建模分析以及數值模擬方法等．所有方法均有其局限性和優缺點．例如，相對于真實系統平臺或原型系統，理論分析和模擬的研究給出了不依賴于具體平臺和實現的結果，但是真實原型系統則反映了相應研究領域的成熟程度．

 

  ４．２ 研究分類比較

 

  依據表６的分類標準，表７對比了近年來數據中心應用新能源策略的研究進展．不同的機制策略可歸類為：第一，新能源模型和預測機制．由于不同新能源具有不同的特性（如前面介紹的發電量和碳排放量因素、因此間歇性和動態變化等），因此，為了最大化利用新能源，我們需要建模預測未來可用的新能源量，以此來調度作業，匹配能耗供應與需求．第二，數據中心能源配額規劃：主要涉及研究新建數據中心或者新增新能源時，如何選擇最佳的能源組合來最小化開銷和碳排放量，并同時滿足相應能耗需求．第三，新能源數據中心內作業調度機制：主要研究如何依據新能源可用量，來分級調度交互性和延遲容忍型作業、調節服務功耗狀態以最大化利用新能源．第四，新能源數據中心間負載均衡機制：針對不同地區數據中心的不同新能源可用量和不同碳排放量，負載均衡器將請求分發到不用的地區進行執行處理，從而最大化新能源的利用、減少能耗開銷和碳排放量．下面，將分別詳細闡述這４類研究．

 

  ５ 新能源利用機制與策略

 

  本節首先對新能源在數據中心應用的４個方面進行闡述，如圖２所示．然后，我們分析總結國內綠色數據中心的研究現狀．

 

  ＲｅＲａｃｋ是一個可以輸入上述不同因素的模３期鄧 維等：云計算數據中心的新能源應用：研究現狀與趨勢５９１擬優化器，可用來評估使用新能源的數據中心的能耗開銷．ＲｅＲａｃｋ主要包含兩個部分：一是模擬器，用來分析新能源的效益，其模型既可以表示數據中心的能耗需求也可以模擬不同地區的新能源變動情況；二是優化器，用來尋找對于給定地區和負載的開銷最佳的求解空間．

 

  文獻［４］提出的碳感知能源規劃方法可以幫助數據中心操作人員設計可持續發展的新能源驅動的系統．該方法假設數據中心內部的ＩＴ設備、冷卻設備、供電設備都齊全，而需要規劃的決策是多種新能源的配額以及儲能設備（Ｅｎｅｒｇｙ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅｓ，ＥＳＤ）的大小．能源來源包括就地新能源、離站新能源、電網、就地柴油發電機、儲能設備和間接的新能源市場的產品（如ＲＥＣ和ＰＰＡ）．通過考慮不同碳足跡指標、新能源特性、激勵政策、稅費，該方法的目標優化函數是最小化上述所有能源組合的費用開銷．基于此優化框架，大量真實數據（ｔｒａｃｅ）驅動的仿真實驗顯示：（１）新能源不僅可以減少數據中心的碳排放量，而且可以減少開支；（２）就地新能源可以減少開銷的原因在于它們能直接為數據中心供電，而減少對電網的峰值需求，而傳統的作法則是運用更昂貴的ＥＳＤｓ來實現相同的目標；（３）減少碳排放量的最有效方式取決于碳足跡的目標：對于比較低的減排目標（不超過３０％），最好使用就地可用的新能源；更高的碳排放減少目標就需要使用離站新能源；而零碳排放目標就必須借助于新能源產品，如ＲＥＣｓ．

 

  然而，上述能源供應規劃方案忽視了對數據中心能耗需求的考慮．文獻［１３］提出了一種能耗管理規劃方案，使得數據中心的負載能耗需求與供應相匹配．電能供應可以來源于電網、新能源和儲能設備．其中，新能源的供應是隨時間變化的，依賴于新能源來源、發電機地理位置和天氣條件．能耗需求主要取決于隨時間變化的數據中心負載和所采取的能耗管理策略．該方法采用ＤＶＦＳ 和服務器整合技術來調節ＣＰＵ功耗和服務器個數，并設置能耗上限來控制能耗需求．儲能技術用來儲存多余的電能，并用來平滑由于間歇性新能源導致的不穩定電能供應．以上幾種配額規劃方案都沒有考慮新能源對公

 

  眾健康及地區經濟效益的影響．為此，文獻［１２］提出了一種系統最佳能源組合模型，能夠考慮電網的可靠性、電力開銷、污染對健康的影響、對建筑環境的影響、對景點的影響、對當地財富和環境的影響．而且，該模型可以模擬這些因素之間的交互影響，提供決策信息來設計最佳的電力能源組合．但是該模型只是概念模型，并沒有嚴格的形式化數學表達．雖然現在越來越多的數據中心使用新能源來減

 

  少碳排放量，但是只有少數的綠色環保客戶才對新能源感興趣，而大部分的普通用戶并不關心數據中心是否使用綠色能源．為此，數據中心可以提供差異性服務：新能源僅僅為服務綠色環保客戶的服務器供能．在新能源加入數據中心供電系統時，應該規劃哪些服務器提供的服務由新能源支持，哪些服務器提供的服務由傳統電網支持．在相關研究［１４］中，新能源通過并網設備（ｇｒｉｄ ｔｉｅ）將就地新能源并入電網，而電網作為備用能源，當新能源不足的時候才使用電網，而當新能源富余時就存儲在電網中．在并網的數據中心中，新能源在供電系統的比例取決于新能源的產量，以及并網設備下的服務器數量．該方法能夠量化不同的并網設備放置方案對于新能源利用率的影響．例如，在機架級別放置并網設備可以增加每小時新能源利用率的１．７６倍．

 

  ５．３ 綠色云數據中心內作業調度機制

 

  ５．３．１ 延遲處理作業機制

 

  為了研究數據中心如何利用不穩定的新能源、如何匹配負載的能耗需求與變化的新能源供應，美國羅格斯大學的研究者設計并實現了太陽能驅動的小型數據中心μｄａｔａｃｅｎｔｅｒ———Ｐａｒａｓｏｌ［３４］．最近，他們又為綠色數據中心設計了兩個負載調度系統：

 

  ＧｒｅｅｎＳｌｏｔ［１５］和ＧｒｅｅｎＨａｄｏｏｐ［１６］．這兩個系統均假設：（１）數據中心既與太陽能電站連接也與電網連接；（２）沒有蓄電設備．系統目標都是最大化利用太陽能．非清潔能源只在太陽能不足的時候才被利用．ＧｒｅｅｎＳｌｏｔ［１５］是一個批處理作業調度器，它擴展了ＳＬＵＲＭ 模擬器（ＳＬＵＲＭ 是一種可用于大型計算節點集群的高度可伸縮和容錯的集群管理器和作業調度系統）．用戶提交作業時需要設定所需的結點數、期望的運行時間和截止期限．基于歷史數據和天氣預報，ＧｒｅｅｎＳｌｏｔ首先預測未來太陽能的可用量．在滿足作業的延時要求情況下，ＧｒｅｅｎＳｌｏｔ盡可能將作業延遲到未來新能源可用的時候再執行，如圖３所示．其中，回填算法是在先來先服務算法的基礎上，將隊列中較小的作業回填到空閑ＣＰＵ，以提高ＣＰＵ利用率．每個長方形代表結點的個數和每個作業大概需要的時間．垂直線為作業的最后完成期限．ＧｒｅｅｎＳｌｏｔ延遲部分作業的執行（只要不超過截止期限）以保證新能源的利用．例如，ＧｒｅｅｎＳｌｏｔ延遲作業Ｊ１到截止期限之前，從而盡可能多地利用可用的新能源［１５］．如果為了滿足延時要求而不得不使用傳統電網時，ＧｒｅｅｎＳｌｏｔ則選擇電價較為便宜的時候執行作業．

 

  圖３ 在調度３個作業（Ｊ１，Ｊ２，Ｊ３）時，回填（Ｂａｃｋｆｉｌｌ）算法（上圖）與ＧｒｅｅｎＳｌｏｔ（下圖）算法的對比．類似地，ＧｒｅｅｎＨａｄｏｏｐ在Ｈａｄｏｏｐ數據處理的框架下改進作業調度器來最大化新能源的利用．但是調度管理Ｈａｄｏｏｐ作業的能耗更加困難，因為Ｈａｄｏｏｐ作業不設定需要使用的服務器個數、運行時間和所需能耗等信息．此外，能耗調度器需要保證管理的服務器上具有運行作業所需的數據．

 

  但是，ＧｒｅｅｎＳｌｏｔ［１５］和ＧｒｅｅｎＨａｄｏｏｐ［１６］調度系統不適合交互式延遲敏感型應用．文獻［２２］既考慮批處理這樣的延遲容忍型作業，又考慮Ｗｅｂ服務這樣的延遲敏感型應用．對于這兩種不同類型的作業，調度器設置兩個不同的隊列．對于Ｗｅｂ服務，系統限定每個服務器上的請求個數，并在計算資源可用時立即執行，以滿足響應時間要求．而對于批處理作業，則利用前面５．１．３小節總結的風能和太陽能可用量預測機制，自適應地延遲調度每個服務器的作業來充分利用新能源．雖然該方法使用的新能源預測算法相對于ＧｒｅｅｎＳｌｏｔ和ＧｒｅｅｎＨａｄｏｏｐ系統更為復雜，但是準確性更高，調度失誤率更低．類似地，加州大學伯克利分校的研究者也同時針對批處理任務和交互型服務設計了能源敏捷型集群［２１］．對于批處理任務，該方法同樣通過新能源感知的松弛調度來最大化風能的利用．不同的是，對于交互型服務，系統通過降低服務質量（如增加響應時間、選擇性地拒絕部分請求）來減少能耗．其代價是影響服務質量．

 

５．３．２ 調節硬件狀態方式

 

  除了通過延遲處理作業來匹配可用新能源的方式外，另一種利用新能源的調度方式就是調節處理器或者服務器的功耗狀態來調節能耗需求，從而匹配可用的新能源．在處理器層次，佛羅里達大學的ＩＤＥＡＬ實驗室設計了ＳｏｌａｒＣｏｒｅ［２０］，一種太陽能驅動的多核體系架構下的能耗管理方案．ＳｏｌａｒＣｏｒｅ依據可用的太陽能動態地設置處理器的能耗預算，并利用ＤＶＦＳ技術根據吞吐率和能耗的比值來動態調節每個核的負載，以充分利用新能源實現最佳的性能．當太陽能利用率低于一定閾值時就開啟備用電源（電網）．類似地，對于服務器集群，Ｂｌｉｎｋ［１７］基于變化的可用新能源電量，利用快速休眠狀態，動態調節每個服務器的功耗狀態來匹配能耗供應．不同的是，該方法假設集群完全依賴綠色能源，不與電網連接．但是，目前數據中心僅僅依靠綠色能源是不實際的，原因在于間歇、不穩定的新能源可能會導致無法控制的性能損失、服務中斷和斷電．

 

  ５．３．３ 遷移負載調度資源

 

  上述這幾種延遲處理作業或者調節硬件功耗狀

 

  態的方式會一定程度上影響服務質量．ＩＤＥＡＬ實驗室的另一個研究成果是ｉＳｗｉｔｃｈ．為了最大化利用間歇、不穩定的新能源，ｉＳｗｉｔｃｈ在兩組服務器之間動態調節負載：一組服務器依靠新能源供能，而另一組依靠傳統電網供能．根據能源波動利用虛擬機遷移技術，當新能源不足時就將負載遷移到電網服務器組；當新能源充足時就將任務遷移到新能源服務器組．但是，能耗需求的波動性和新能源的不穩定性導致引入了很多不必要的負載調度開銷．

 

  文獻在管理負載時集中考慮了新能源供應、動態的電價、冷卻方式等因素，來改善數據中心運營的節能環保可持續性．系統首先預測可用的新能源和ＩＴ需求，然后依據這些預測數據來產生ＩＴ負載管理策略———依據變化的能源供應和冷卻效率在數據中心中調度負載和分配資源．真實數據驅動的實驗顯示該方法在保證服務質量ＳＬＡ的同時，可以減少６０％的能耗開銷和非清潔能源的使用量．實驗回答了３個關鍵問題：（１）通過新能源和冷卻感知的負載管理方式能獲得多少益處（減少電力開支和環境影響）？（２）零電網能耗可能實現嗎？（３）哪種新能源更有價值？最優的新能源組合是怎樣的？

 

  ５．４ 綠色云數據中心間負載均衡機制

 

  云服務提供商通常在全球多個地區擁有自己的數據中心：一是為了盡可能快地為全球客戶服務;二是為了故障恢復（數據在不同地區的數據中心復制多份）；三是為了更好利用不同地區的能源供應、電價、冷卻方式、稅費之間的差異．當然，不同地區的數據中心的可用新能源量是不同的、波動趨勢也不盡相同，所以越來越多的研究者發現在跨區域數據中心之間合理地進行負載遷移和請求分發，不僅可以減少總體費用，而且可以充分利用各地的可用新能源、減少碳排放量．

 

  ５．４．１ 跨數據中心請求分發節能減排的可行性劍橋大學的學者提出了Ｆｒｅｅ Ｌｕｎｃｈ［２６］架構．他們假設多個數據中心擁有新能源，而這些產出不穩定的新能源不被使用就會被浪費．數據中心之間通過專有網絡連接．Ｆｒｅｅ Ｌｕｎｃｈ根據可用能源來無縫執行和遷移虛擬機，將任務遷移到有富余新能源的數據中心．但是，實現Ｆｒｅｅ Ｌｕｎｃｈ這種通過虛擬機遷移負載來充分利用新能源的思想有以下５點挑戰：（１）虛擬機在線遷移具有很大性能開銷．例如，在新西蘭和澳大利亞的數據中心之間遷移的最小延時是６７ｍｓ．（２）Ｆｒｅｅ Ｌｕｎｃｈ假設系統中所有服務器都連接到網絡附加存儲（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）．在單個數據中心這個假設是合理的，但是在多個不同地區的數據中心之間，虛擬機的遷移需要保證虛擬機磁盤狀態和數據的一致．（３）多個數據中心之間的虛擬機磁盤鏡像放置也是一個挑戰．虛擬機的正常運行需要磁盤鏡像隨時可訪問．虛擬機只能被放置或遷移到具有鏡像的數據中心中．（４）ＦｒｅｅＬｕｎｃｈ比較適用于無狀態的、非交互型、訪問數據量小的應用．大量的網絡延時使其難以滿足延遲敏感和交互型應用的服務等級協議ＳＬＡ．尤其是當負載具有大量的磁盤訪問操作時，負載遷移的時間和數據處理使其開銷更大．（５）Ｆｒｅｅ Ｌｕｎｃｈ假設數據中心的計算資源與綠色能源來源是在一個地點的．

 

  因此，更合理地利用不同地區數據中心的新能源、減少碳排放量的方式，是分發用戶網絡請求，依據可用新能源或碳排放量的不同來均衡各個數據中心的請求數量．加州理工學院的Ｗｉｅｒｍａｎ等人從理論和實驗上證明這種方法的可行性．他們在文獻［１０］中研究互聯網系統完全利用新能源的可行性．研究發現小規模的儲能設備配合分布式請求轉發機制，對于完全依賴于新能源的數據中心就足夠了．最佳的新能源組合是主要用風能，而使用相對較少的太陽能來處理白天時段的高峰需求．他們在文獻［２４］中研究跨數據中心的負載均衡能否刺激新能源的利用、減少化石燃料的使用．此研究主要針對新能源輸出的電量接入到電網，進而為數據中心供電的情形．研究發現負載均衡機制的好處取決于新能源加入電網后的定價方式.

 

  ＰＢｉ分別表示這些能源的單價．約束條件（１４）表示分發到Ｎ 個數據中心的請求之和與到達數據中心系統的請求數λ 相等．約束條件（１５）保證能耗費用不超過預算Ｂｕｄｇｅｔ．基于線性分數規劃（Ｌｉｎｅａｒ－Ｆｒａｃｔｉｏｎａｌ Ｐｒｏｇｒａｍｍｉｎｇ，ＬＦＰ）方法，ＧｒｅｅｎＷａｒｅ利用Ｍａｔｌａｂ中的ｌｉｎｐｒｏｇ解決方案求得最優解．類似地，文獻［２９－３０］考慮在設置非清潔能源使用量上限情況下，如何依據不同地區的不同電價和碳抵消交易市場來分發請求，實現充分利用綠色能源并最小化能耗開銷，并同時滿足服務質量ＳＬＡ．文獻［２８］考慮不同地區處理請求的不同碳排放量和網絡延時對服務質量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）的影響，對碳排放和ＱｏＳ之間的權衡作了優化處理．文獻［３］設計的ＦＯＲＴＥ優化框架依據負載和碳足跡的變動來動態控制每個數據中心的用戶請求比例．它允許運營商操控３個方面的權衡：訪問延時、碳足跡和電量開銷．

 

  ５．４．３ 新能源感知的路由算法

 

  目前，大量的研究工作關注于優化數據中心計算的能耗，而較少研究者關注連接大規模分布式數據中心的網絡的能耗．數據中心運營者和網絡提供商如何以最小的開銷提供期望的性能是設計分布式服務的關鍵挑戰．主干網的總能耗是所有鏈路和路由器能耗之和．其中，鏈路的能耗是距離的函數，主要用于信號放大．路由器的能耗大部分固定在額定值，是主干網能耗的主要部分．目前，網絡路由主要采用最短路徑算法．隨著路由器改進為能耗均增方式（Ｅｎｅｒｇｙ Ｐｒｏｐｏｒｔｉｏｎａｌ），未來路由器需要根據負載狀態和可用新能源量來動態路由．文獻［３２］提出了新能源感知的路由算法以改善網絡系統的能效．該算法選擇那些具有最低非清潔能源消耗量且同時滿足帶寬要求的路徑來路由請求．實驗結果表明，使用能耗均增的路由器和新能源感知的路由算法能將路由器的能效提高１０倍，并增加３６％的作業完成率．

 

 

５．５ 國內綠色數據中心研究現狀

 

  國內在數據中心節能減排、新能源應用方面的相關研究起步晚于國外．但在國家大力倡導資助和國內科研工作者的刻苦攻關下，迄今已取得了一定的成果．

 

  在綜述方面，２００９年四川大學郭兵教授發表了題為“綠色計算的重定義與若干探討”的文章［３５］．文章提出了綠色計算的一些基本思路和一般性方法，為下一步研究綠色計算的具體模型、方法與工具打下了必要的基礎．２０１１年清華大學的林闖教授發表了題為“綠色網絡和綠色評價節能機制、模型和評價”的文章［９］．文章提出了隨機模型的綠色評價框架，為構建綠色網絡和節能減排計算系統的評價體系奠定了基礎．２０１２年浙江大學的葉可江博士和吳朝暉教授發表了題為“虛擬化云計算平臺的能耗管理”的文章［３６］，總結對比了云計算中心的節能減排模型和機制．在研究上，清華大學的林闖教授利用隨機佩特里網（Ｓｔｏｃｈａｓｔｉｃ Ｐｅｔｒｉ Ｎｅｔｓ）為數據中心的能耗管理進行了理論建模和分析，提出了開銷感知的作業調度算法［３７］．在新能源的應用上，林闖教授研究了將太陽和風能在儲能設備幫助下加入電網的可行性．為了解決能量供應和需求都不穩定的問題，他們應用隨機網絡演算（Ｓｔｏｃｈａｓｔｉｃ Ｎｅｔｗｏｒｋ Ｃａｌｃｕｌｕｓ）分析了各種新能源配置條件下能量供應的可靠性［３８］．清華大學的李丹老師對比分析了數據中心網絡的能效［３９］，提出了數據中心網絡中能耗感知的路由算法［４０］．中國科學院計算技術研究所的劉志勇研究員設計了基于離散開銷函數的網絡路由算法［４１］．在科研項目上，２０１１年清華大學林闖教授和中國科學院計算技術研究所劉志勇研究員主持負責了國家自然科學基金重大國際合作項目“綠色網

 

  絡———降低網絡能耗的理論與技術”．同年上海交通大學陳貴海教授聯合清華大學和華中科技大學負責研究自然基金重點項目“大型數據中心的低能耗可擴展理論與關鍵技術”．浙江大學馮培恩教授在２０１２年兩會提交的《關于加快發展云計算的提案》中提出大力推廣云計算中心對新能源的采用．國家“十二五”科技發展規劃大力培育和發展以節能環保、新一代信息技術、新能源為代表的戰略性新興產業．

 

  ６ 總結與展望

 

  本文綜述了新能源在云計算數據中心的應用機制和策略．本文首先分析了新能源在數據中心中應用的必要性、挑戰和途徑，然后分類對比了最新相關研究成果．本文從新能源模型和預測機制、數據中心能源配額規劃、數據中心內作業調度和數據中心間負載均衡４個關鍵方面對研究現狀進行總結．其中，新能源的發電模型刻畫了產電量與各種相關因素的關系，這不但可以指導預測模型選擇參數，也可以指導新能源的配額規劃．新能源預測機制是數據中心應用不穩定新能源的重要一環，其預測的準確性會影響資源調度的合理性．作業調度和負載均衡是實現數據中心內部及多區域數據中心之間充分利用新能源的有效機制．這４個方面關系密切，相互銜接，構成了云計算數據中心采用新能源的整體解決方案．目前，新能源在數據中心的應用還處于起步階段，相關研究成果主要集中在近３年．很多問題和難點都需要進一步的研究．具體總結如下：

 

  （１）多種能源協同組合．目前研究主要針對風能、太陽能，均需要大量的土地和資金．如何提高產電效率并減少費用是能源界面臨的重要挑戰．沼氣、生物質能等可再生能源也可以為數據中心供電．數據中心購買ＲＥＣ、ＰＰＡ和碳補償的機制尚不成熟．數據中心運營商如何因地制宜地選擇最佳能源組合是首先面臨的問題．

 

  （２）新能源建設規劃．依據數據中心負載特性來估算能耗需求，從而決策采用多少新能源．從技術資源、投資回報率、社會效應等多方面考慮，選取最適合的新能源電站建設方案．

 

  （３）適量的儲能設備．新能源的不穩定性嚴重阻礙了新能源的廣泛應用．依據新能源發電量、數據中心負載、儲能設備資金投入等多方面因素，選擇合適大小和規模的儲能設備來儲存新能源的產電量，能夠在需要時釋放．這是利用新能源的關鍵措施之一．（４）數據中心能耗需求與新能源供應相匹配．由于數據中心負載和新能源供應都是不穩定的，負載能耗需求的波動對新能源的利用有什么影響，新能源的間歇性對數據中心服務質量有什么影響，如何匹配需求與供應都是需要解決的實際問題．

 

  （５）智能準確的可用新能源預測機制．可用的新能源電量影響到數據中心作業調度及資源分配決策．準確的預測機制是自適應作業調度的關鍵．（６）作業調度的多目標優化．為了充分利用不穩定新能源，調度作業來匹配能源供應需要考慮作業類型、作業服務質量ＳＬＡ 和ＱｏＳ、作業狀態一致性、服務穩定性和可靠性等．

 

  （７）請求分發的數據可訪問性．在多個數據中心之間分發請求，將不同用戶映射到不同的數據中心，而不同的數據中心具有不同的數據庫．僅僅依據新能源或者碳排放來決策分發機制，可能會導致請求被分發到不具有要訪問數據的數據中心．分發機制應該綜合考慮用戶、數據中心和數據的對應關系．（８）由于數據中心采用新能源加傳統電網的供電方式，因此，新能源與電網之間如何切換、切換頻率大小、切換開銷大小、如何協同給數據中心供電都是這種混合供電方案需要回答的難題．

 

  （９）新能源數據中心的評價標準．數據中心如果僅僅考慮ＰＵＥ標準，就會忽視碳排放和性能．而新制定的ＣＵＥ 標準也只是考慮碳排放，而沒有涉及開銷和性能．此外，Ｐｅｒｆｏｒｍａｎｃｅ／Ｗａｔｔ或者Ｄｏｌｌａｒ／Ｗａｔｔ指標分別評價的是數據中心單位能耗所提供的性能和收益．目前，尚沒有全面的、多維度綜合考慮的新型數據中心評價標準．