云计算数据中心的新能源应用：研究现状与趋势

  １ 引 言

 

  在云计算席卷全球、云计算产业发展浪潮风起云涌的背景下，建设绿色数据中心、实现节能减排成为了近年来学术界和产业界关注的话题之一．传统数据中心企业原有的数据中心如何尽快转变成适合云计算要求的云计算中心，也是迫切需要解决的问题．以谷歌、亚马逊为代表的互联网巨头在从传统内容服务商向云计算服务转型的过程中，需要规划和建设规模巨大的数据中心．

 

  与传统数据中心相比，云计算数据中心的新特性主要体现在：（１）模块化的标准基础设施．针对数据中心的云服务需求，云数据中心对服务器、存储设备、网络等设施按工业标准进行模块化配置设计，使其具有适应性与可扩展性；（２）虚拟化资源与环境．云数据中心广泛采用虚拟化技术将物理资源聚集形成一个共享虚拟资源池，从而更加灵活高效、低成本地使用资源；（３）高可靠自动化管理．云计算数据中心应是２４×７无人值守的、可远程管理的，实现设备到应用端到端的统一管理．为确保稳定、安全、持续的系统连接，云数据中心需建立高度可信赖的计算平台、网络安全威胁防范，建设数据复制与备份、容灾中心；（４）快速的可扩展能力．随着大数据爆炸式增长以及用户需求的可变多样性，云数据中心必须根据业务应用需求和服务质量来动态配置、定购、供应虚拟资源，具有资源利用的快速扩展能力；（５）节能与节省空间．云计算数据中心将大量使用节能服务器、存储和网络设备，并通过先进的供电系统和散热技术，实现供电、散热和计算资源的无缝集成和管理，解决传统数据中心的过量制冷和空间不足的问题．然而，高能耗、高污染一直制约着云数据中心的发展．据统计，如果将全球的数据中心整体看成一个“国家”的话，那么其总耗电量将在世界国家中排名第１５位［１］．由于数据中心６０％的运营成本来自于能耗，因此如何降低能耗以节省云服务商不断攀升的电费成本、缓解日益严重的碳排放污染，是云数据中心可持续发展过程中亟需解决的问题．

 

  本文从绿色数据中心评价标准、新能源的特性、新能源产电模型与预测机制、数据中心能源配额规划、作业调度机制以及负载均衡机制等方面，对云计算数据中心的绿色能源应用研究进行分析．

 

  本文第２节介绍绿色云数据中心的现状与挑战；第３节分析新能源评价标准、新能源的特性和可选择利用种类；第４节介绍研究分类评价标准，并据此对目前研究现状进行对比分析；第５节分别从新能源模型和预测机制、数据中心能源配额规划、新能源数据中心内作业调度机制和新能源数据中心间负载均衡机制４个方面，对绿色数据中心的最新研究进展进行分类比较，并总结国内绿色数据中心的研究现状；最后对全文进行总结，并提出未来值得进一步研究的方向．

 

  ２ 绿色云数据中心的现状与挑战

 

  ２．１ 云数据中心不断增长的能耗

 

  日本经济贸易产业省ＭＥＴＩ预测，全球ＩＴ能耗将于２０２５年翻５倍，而到２０５０年将增长１２倍①．大量的能耗使得像Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ和Ｆａｃｅｂｏｏｋ这样的ＩＴ公司每年的电费就高达几百万美元．虽然近年来低功耗服务器和数据中心能效优化领域已经取得了显著进步，但随着数据中心系统规模和服务器数量的增长，其总体能耗仍然呈持续快速增长趋势．例如，Ｆａｃｅｂｏｏｋ基础设施的规模大约每６个月就翻１倍———从２００８年４月的１０Ｋ台服务器增长到２００９年１１月的３０Ｋ 台服务器，并于２０１０年６月达到了６０Ｋ台服务器②．表１显示了典型企业和机构的服务器数量、能耗需求及电费．

 

  面对上述巨大能耗需求，目前电力能源主要还是源自于化石燃料，如表２所示，化石燃料发电量占到全球电能比例的２／３．尽管不同地区的各种能源比例不尽相同，但绿色能源还远未得到广泛应用，特别是为数据中心配备绿色能源更是充满了机遇与挑战．

 

  ２．２ 云数据中心对新能源的需求

 

  最新统计数据表明，平均建设一个额定功率为１００ＭＷ 的电厂将花费６０～１００百万美元，并在其生命周期中排放超过５０百万吨的ＣＯ２．相比之下，全球数据中心在２００７年排放了１１６百万吨的ＣＯ２，而且ＩＴ设备的碳排放量占据了全球碳排放量的２％．随着二氧化碳排放量剧增、全球气候变暖日趋严重，云计算相关企业或机构无疑都将受到越来越多的成本约束和环境法规限制．

 

  近年来，学术界和工业界一直通过各种方法改善数据中心能效（Ｅｎｅｒｇｙ Ｅｆｆｉｃｉｅｎｃｙ），如利用更好的能耗均增（Ｅｎｅｒｇｙ Ｐｒｏｐｏｒｔｉｏｎａｌ）计算技术（包括虚拟化、动态开关服务器、负载整合、ＩＴ设备的深度休眠和功耗模式控制），更高效的电力配送及冷却系统．但是，改善能效并不等于就实现了绿色计算，因为数据中心消耗的仍然是传统的高碳排放量的能源．绿色和平组织（ＧｒｅｅｎＰｅａｃｅ）定义实现绿色ＩＴ的方式是“高能效加新能源”（Ｇｒｅｅｎ ＩＴ＝Ｅｎｅｒｇｙ Ｅｆｆｉｃｉｅｎｃｙ＋Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ）［５］．为了减少能耗开销和碳排放量以实现绿色计算，充分利用新能源才是根本途径．新能源一般是指在新技术基础上加以开发利用的可再生能源，包括太阳能、生物质能、风能等．随着常规能源（煤炭、石油、天然气）的有限性以及环境问题的日益突出，环保、可再生的新能源越来越得到各国的重视．

 

  能源领域对于绿色可再生能源的研究（如太阳能、生物能的利用）从未停歇，而这股潮流随着云计算的到来，同样走向了数据中心．绿色和平组织通过对全球ＩＴ公司的数据中心清洁能源进行评级，来倡导和激励数据中心使用新能源．同时，各国政府也纷纷制定鼓励节能减排的法规和政策．例如，美国加利福尼亚州规定到２０２０年其市政电力中３３％要来源于新能源［６］．此外，美国还提出多种激励补贴方式鼓励新能源的应用．例如，生产税收抵免（ＰｒｏｄｕｃｔｉｏｎＴａｘ Ｃｒｅｄｉｔ，ＰＴＣ）政策规定在新能源设施运营的前１０年内，每生产一千瓦时清洁能量将获得２．２美分补贴．

 

  新能源不但能够显著减少高碳电厂的温室气体排放，而且具有光明的经济前景，是减轻未来电力价格上涨压力的一种新途径．例如，用户在安装了新能源或者购买了新能源产品之后，可以在多年内（如２０年）拥有固定的能量价格．如果数据中心所在地区需要征收烟碳排放税，或者实行限额与交易（ｃａｐａｎｄ－ｔｒａｄｅ）政策（每家企业都给了一定量的排碳限额，在限额之内排碳免费；未用完限额可以卖给那些碳排量超过配额的企业），那么对新能源的投资将具有较高的性价比．

 

  ２．３ 当前云数据中心不够“绿色”

 

 

        随着不断下降的工艺制造费用以及大规模的投资和政府激励，部署建设新能源的设备（如太阳能光伏电板和风涡轮）费用不断减低．例如，太阳能的安装建设费用从１９９８年的１０．８７$／Ｗａｔｔ下降到２０１０年的７$／Ｗａｔｔ①．风涡轮电能的价格更是达到历史最低值：２０１１年价格仅为１．３３$／（ｍ·ＭＷ－１），相比于２００９年的１．０６$（ｍ·ＭＷ－１）下降了７％，而相比于２００７年的１．２１$（ｍ·ＭＷ－１）下降了１９％②．现在，越来越多的ＩＴ企业和机构正在逐步实现完全或者部分新能源驱动的数据中心，例如Ｇｒｅｅｎ ＨｏｕｓｅＤａｔａ建在美国怀俄明州的风能供电数据中心③和Ｆａｃｅｂｏｏｋ建在俄勒冈州的太阳能数据中心④．ｅＢａｙ在２０１２年４月份决定使用３０个Ｂｌｏｏｍ Ｅｎｅｒｇｙ的燃料电池来为其在犹他州的数据中心供能⑤．Ａｐｐｌｅ将使用太阳能厂和燃料电池站生产６０％的电力来驱动其在南加州的数据中心①．２０１２年４月，绿色和平组织发布了一份名为《Ｈｏｗ Ｃｌｅａｎ ｉｓ Ｙｏｕｒ Ｃｌｏｕｄ？》的报告，对著名ＩＴ企业的数据中心做了绿色能源评估．其中，在清洁能源所占比例上，戴尔公司以５６．３％的比例排在首位，Ｇｏｏｇｌｅ和Ｆａｃｅｂｏｏｋ分别以３９．４％和３６．４％排在二、三位．由于戴尔是近几年才转型到数据中心解决方案业务，所以其新型数据中心清洁能源所占比例较高．相比于老牌的ＩＢＭ、Ｍｉｃｒｏｓｏｆｔ、Ｏｒａｃｌｅ公司等，Ｇｏｏｇｌｅ和Ｆａｃｅｂｏｏｋ则是近来发展起来的互联网巨头，更容易采用新技术和转变能源来源，因此其绿色能源占据的比例较高也在情理之中．在其它指标中（如数据中心选址、能源效率及温室气体排放、能源回收二次利用），能够达到代表绿色环保的Ａ和Ｂ级别的企业很少．此外，大部分中小型ＩＴ公司由于资金和技术原因，其数据中心更难采用新能源．综上所述，新能源在数据中心的应用还有很长一段路要走．

 

  ２．４ 云数据中心仍然需要混合能源

 

  ２０１２年６月２９日，大规模雷暴雨袭击了美国东一区，导致著名的亚马逊云服务Ａｍａｚｏｎ’ｓ ＷｅｂＳｅｒｖｉｃｅｓ（ＡＷＳ）中断，严重影响了基于ＡＷＳ的应用服务商，如Ｎｅｔｆｌｉｘ，Ｉｎｓｔａｇｒａｍ 和Ｐｉｎｔｅｒｅｓｔ②．此前，亚马逊在２０１０年就曾经历了一周内４次电力故障，导致所提供的云服务中断③．这些促使人思考一个问题：现在是时候让数据中心的运营者考虑完全使用非电网的能源吗？尤其是现在部分运营商已经成功实现自己生产部分电能，而用传统电网作为备用电能．

 

  显然，电网仍然是为数据中心供电的最重要和最优先方式．电网更加稳定可靠，而且考虑到数据中心能耗一般在２０ＭＷ 到１００ＭＷ 之间，这样大规模的需求很难通过新能源来满足．亚马逊Ｗｅｂ基础架构专家Ｊａｍｅｓ Ｈａｍｉｌｔｏｎ指出，Ｆａｃｅｂｏｏｋ在俄勒冈州建设的１００ＫＷ 的太阳能电站对于其能耗２５ＭＷ的数据中心来说仍然远远不够④，仅够用来为数据中心照明，或者仅相当于一个高密度服务器机架的能耗．此外，Ａｐｐｌｅ的ｉＤａｔａｃｅｎｔｅｒ使用２０ＭＷ 的太阳能电厂来为１００ＭＷ 的数据中心提供部分电能．为此，Ａｐｐｌｅ需要清理掉１７１英亩的土地来放置足够多的太阳能电板．太阳能电厂在夜晚不能发电，而且在白天太阳能也是变化的，这导致了仅仅只有部分可用的电能产出．据Ｈａｍｉｌｔｏｎ估算，额定２０ＭＷ的太阳能电厂只有１５．８％的产出，即约３．２ＭＷ．据此，如果Ａｐｐｌｅ想要为整个数据中心供电的话，需要扩建２４．４倍大的太阳能电厂，达到额定４８８ＭＷ，占地４１７２英亩．

 

  由此可见，目前数据中心仍然不适合完全脱离传统电网．虽然利用新能源能够改善数据中心带来的环境问题，但是不能完全代替传统高碳电能．如何协同配合传统电网和新能源的各自特点，仍然是未来的一个研究方向．

 

  ２．５ 绿色云数据中心研究面临的挑战

 

  不同于依赖传统高碳能源的稳定供给电网，新能源往往是不稳定的、间歇性的、动态变化的．为了缓和这种可变性，数据中心可以将绿色能源存储在电池中或者直接连上电网．但是这些方法会导致能量损失和昂贵的电池费用．尤其是能量储存设备比较昂贵、改进过程也比较缓慢，不宜大规模采用．此外，建设新能源电厂需要大量的土地．比如，使用太阳能来生产１ＭＷ 的电能需要５～１０英亩的土地（具体数值依赖于安装的太阳能电板的不同密集程度和不同发电效率）．同样，风能也需要使用大量的土地，风能项目的平均产电能力为２Ｗ／ｍ２⑤．最大化使用新能源的办法是根据新能源的供应量来匹配相应的能耗需求（计算任务）．匹配能耗供应与需求有很多待研究的问题：什么样的计算负载适合于绿色数据中心？采取什么样的有效技术来匹配动态变化的能耗需求与供应？是否可以允许程序员定制使用哪类节能技术？如何准确预测太阳能和风能的可用量？如何有效管理电池等储能设备？能否通过全球范围内的任务分发与调度来最大化利用多区域的新能源？如何选址配额来实现最佳的数据中心收益与开支平衡？

 

  ３ 数据中心采用新能源的途径及特征

 

  ３．１ 新能源种类及其在数据中心中的应用途径在数据中心部署使用新能源有就地（ｏｎ－ｓｉｔｅ）电站和离站（ｏｆｆ－ｓｉｔｅ）电厂两种方式．就地新能源发电厂生产的电力可直接为数据中心供能，例如Ｆａｃｅｂｏｏｋ建在俄勒冈州的太阳能数据中心．其优势在于几乎没有电力传输和配送损失．但是位置最好的数据中心（土地价格、水电价格、网络带宽、可用的劳动力、税收等因素），并不一定具有最佳的资源来部署就地新能源电站．

 

  利用新能源的另一种模式就是将新能源电厂建设在具有丰富资源（如风速大或日照强）的离站地区，然后通过电网将新能源产生的电力传送到需要用电的数据中心．尽管这种方式具有较大的传输损失和电网传送、储存的费用，但是其电产量更大，而且选址更灵活．由于新能源的不稳定性，上述两种方式均需要采用储能设备来缓解产量／供应与消费／需求之间的不匹配，因此相应的储能开销（购买费用和管理储能费用）也被纳入当前研究的权衡考虑之中．由于地区原因，许多企业没有机会自己生产新能源．除了直接参与新能源电厂的建造和使用，还有其它间接的方法实现数据中心节能减排的目的．第一，购买新能源证书（Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ Ｃｅｒｔｉｆｉｃａｔｅｓ，ＲＥＣｓ）．这是指数据中心与新能源项目签订长期合同，以较便宜的协议价格购买部分新能源项目的产电量．例如，Ｇｏｏｇｌｅ与新纪元能源公司ＮｅｘｔＥｒａ签订的ＰＰＡ 协议规定，Ｇｏｏｇｌｅ可以从爱荷华州艾姆斯市的新能源项目中购买２０年的１１４ＭＷ 的风能，为Ｇｏｏｇｌｅ在爱荷华州的数据中心供电①．第二，与第三方新能源提供商签订能源购买协议（ＰｏｗｅｒＰｕｒｃｈａｓｅ Ａｇｒｅｅｍｅｎｔｓ，ＰＰＡｓ）来间接获得新能源．可再生能源证书ＲＥＣｓ也称为绿色标签，是一种可以在市场上交易的能源商品．由专门的认证机构给可再生能源产生的每１０００ｋＷｈ电力颁发一个专有的号码，证明其有效性．即１ＭＷｈ电力对应于１个单位的证书．绿色证书是可再生能源比例标准的重要一环，它借用市场机制形成了一项对使用者的补贴，并以此鼓励绿色能源的广泛应用．第三，购买碳补偿（ｃａｒｂｏｎ ｏｆｆｓｅｔ）来抵消非清洁能源使用．购买者计算日常运营直接或间接制造的二氧化碳排放量，并计算抵消这些二氧化碳所需的经济成本．然后，付款给专门企业或机构，由他们通过植树或其它环保项目抵消大气中相应的二氧化碳量．

 

  总之，云计算数据中心采用新能源的途径有多种．不同方式在开销、复杂度、资助直接性和公共关系价值等方面不尽相同．如图１所示，这些途径分为４个层次：第１种途径是直接建设就地新能源电站，这种方式最直接支持利用新能源，因此也得到更多的直接资助；第２种途径是与新能源开发商签订使用协议或者成为合作伙伴，获得离站的新能源，例如能源购买协议ＰＰＡ；第３种途径是购买高质量的新能源补偿，如碳补偿；第４种途径是购买新能源市场产品，如新能源证书ＲＥＣｓ．第３种和第４种途径相对前两种途径更加便宜且简单方便，但是所获得的资助和公共关系价值相对较少．

 

  ３．２ 绿色数据中心新能源衡量标准———ＣＵＥ数据中心主要的３个子系统包括：ＩＴ设备（服务器、存储设备、网络硬件）；冷却系统（冷却装置和风扇）；配电系统（不间断电源ＵＰＳ、配电装置ＰＤＵ等）．电能使用效率（Ｐｏｗｅｒ Ｕｓａｇｅ Ｅｆｆｉｃｉｅｎｃｙ，ＰＵＥ）是衡量数据中心能效的工业标准，其定义为ＰＵＥ＝数据中心总能耗／ＩＴ 设备能耗．尽管ＰＵＥ长期作为数据中心运营者衡量其电力使用效率的标准，但它没有涉及性能和开销，更没有考虑评价绿色环保程度（如消耗的能源的碳含量）．例如，相比于主要依赖煤燃料供能而具有较低ＰＵＥ 的数据中心，一个主要依靠新能源供能的数据中心尽管可能具有较高的ＰＵＥ，但其产生的污染更少．

 

  为了给出标准的方法来评价数据中心的碳强度，绿色网格组织Ｇｒｅｅｎ Ｇｒｉｄ 采用碳使用效率（Ｃａｒｂｏｎ Ｕｓａｇｅ Ｅｆｆｅｃｔｉｖｅｎｅｓｓ，ＣＵＥ）表示每千瓦时用电产生的碳排放密集程度．

 

  碳排放因子是相应能源的碳密度，即消耗单位能量所排放的碳量（ｋｇＣＯ２ｅｑ／ｋＷｈ）．表３给出了最常见的几种电力能源的碳排放因子，其中石油和天然气等化石燃料能源的碳排放因子最大．ＰＰＡ 和ＲＥＣ作为新的绿色能源产品，其开销与碳排放因子与电网和柴油发电机（Ｄｉｅｓｅｌ Ｇｅｎｅｒａｔｏｒ，ＤＧ）的对比如表４所示．更多绿色ＩＴ评价标准参见文献.

 

  ３．３ 风能、太阳能等绿色能源的特征

 

  太阳能和风能是给数据中心供能的最有前景的两种绿色能源，原因在于：（１）这两种能源在全球大部分地区广泛存在；（２）它们不会像水力发电那样引起环境影响（大面积的植被被破坏）；（３）它们不会像核能那样引起核泄漏和废物堆积问题．因此，目前关于新能源在数据中心应用的研究主要是考虑风能和太阳能．据统计，风能和太阳能分别占全球非水能新能源产量的６２％和１３％①．

 

  由于风能和太阳能发电量与环境条件紧密相关，如风速和日照强度，因此可用电量是不稳定的、随时间变化的．相应地，它们的容量因子也远低于传统电厂（容量因子（ｃａｐａｃｉｔｙ ｆａｃｔｏｒ）是指实际产出与最大的额定产出的比值）．由于有稳定的化石燃料供应，传统电厂的容量因子可达８０％甚至更高．依据年平均风速的不同，风能的容量因子在２０％～４５％之间②．风能发电的开销主要是前期的安装部署开销，其资金支出占据了生命周期总开销的７５％．比较而言，传统化石燃料电厂（如天然气电厂），其燃料和管理运维开销则占据４０％～７０％．太阳能光伏发电系统的光伏电板比风能和其它新能源技术更加昂贵．与风能类似，管理运维开销只是光伏发电系统总开销的一小部分③．

 

 

新能源最主要的优点就是一旦建设好电厂就可以源源不断的提供电能，而且管理费用较低，运营过程中不会排放碳等污染物质．尽管在在生产、传输、安装、设备回收利用过程中也会产生碳污染，但是与传统电网的碳排放因子５８５ｇＣＯ２ｅ／ｋＷｈ相比，风能２９ｇＣＯ２ｅ／ｋＷｈ和太阳能５３ｇＣＯ２ｅ／ｋＷｈ的碳排放因子仍然低得多．

 

  一方面，风能在地理上具有更小的相关性，而且不管白天还是黑夜都能发电．因此，对于面向互联网规模服务的多区域分布式数据中心而言，风能的可用性具有更小的波动．另一方面，太阳能与数据中心负载都是在白天达到峰值，具有更佳的匹配性．所以，根据当地风能资源的质量及各个数据中心的负载特性，最佳的新能源组合是主要使用风能，而配合使用相对较少的太阳能来处理白天时段的高峰需求．

 

  此外，燃料电池是另一种具有巨大前景的新能源．例如，新能源公司Ｂｌｏｏｍ Ｅｎｅｒｇｙ生产一种固体氧化物燃料电池，能够通过电化反应将燃料转化为电．这种新型燃料电池的发电效率是美国电网的两倍，而且清洁程度比燃煤电厂高出６０％．虽然目前燃料电池较为昂贵，但是其经济效益正在不断改善，而且不像其它新能源那样受限于间歇性．

 

  ４ 新能源研究现状的分类与比较

 

  基于目前大量针对数据中心如何利用新能源的研究，本节首先总结相关的评价标准，并据此对现有研究进展进行分类对比．

 

  ４．１ 新能源使用策略分类标准

 

  表６归纳了目前数据中心使用新能源策略的分类和评价标准．首要的标准就是时间尺度，它决定采用的机制和策略的更新频率，可以分为在线策略和离线策略．在线策略是在系统运行过程中实时执行的，时间尺度一般较小，如毫秒或者秒级．离线策略是在系统运行之前就指定好的，时间尺度一般较大，如每小时级的，这类策略通常用于系统设计和资源部署中［９］．

 

  第二，根据数据中心系统结构的不同层次，可以分为单机部件级策略、数据中心整体策略和跨区域数据中心之间的策略．不同层次的策略需要不同的通信量．有些策略需要跨层次的信息通信，或者需要多层之间相互协作．

 

  第三，也可以根据策略所需信息的来源进行分类．例如，策略所作决策可以基于即时信息，也可以基于历史观测值，或者基于预测信息（预测一般即取决于即时信息和历史记录信息）．

 

  第四，根据数据中心的负载类型不同，策略可以分为即时交互性型服务策略和批处理延迟容忍型服务策略．不同的作业对于性能的要求不同，要求的服务响应时间也不同．例如，Ｗｅｂ服务一般要求实时响应，而后台处理和科学计算等作业就属于延迟容忍型服务，只需要在一定时间段完成．

 

  第五，数据中心可以选择多种能源，不同的策略针对的新能源种类也不尽相同．例如，前面介绍的就地新能源和离站新能源；太阳能、风能、燃料电池；可再生能源补贴金ＲＥＣｓ、碳补偿等多种形式的绿色能源选择．有的策略考虑完全利用新能源为数据中心供电，而有的策略则采用多种新能源组合为数据中心供能．

 

  最后一种重要的分类标准是研究方法，它反映方案的现实可用性和评测方法．具体分为离散时间模拟方法、设计原型系统、形式化建模分析以及数值模拟方法等．所有方法均有其局限性和优缺点．例如，相对于真实系统平台或原型系统，理论分析和模拟的研究给出了不依赖于具体平台和实现的结果，但是真实原型系统则反映了相应研究领域的成熟程度．

 

  ４．２ 研究分类比较

 

  依据表６的分类标准，表７对比了近年来数据中心应用新能源策略的研究进展．不同的机制策略可归类为：第一，新能源模型和预测机制．由于不同新能源具有不同的特性（如前面介绍的发电量和碳排放量因素、因此间歇性和动态变化等），因此，为了最大化利用新能源，我们需要建模预测未来可用的新能源量，以此来调度作业，匹配能耗供应与需求．第二，数据中心能源配额规划：主要涉及研究新建数据中心或者新增新能源时，如何选择最佳的能源组合来最小化开销和碳排放量，并同时满足相应能耗需求．第三，新能源数据中心内作业调度机制：主要研究如何依据新能源可用量，来分级调度交互性和延迟容忍型作业、调节服务功耗状态以最大化利用新能源．第四，新能源数据中心间负载均衡机制：针对不同地区数据中心的不同新能源可用量和不同碳排放量，负载均衡器将请求分发到不用的地区进行执行处理，从而最大化新能源的利用、减少能耗开销和碳排放量．下面，将分别详细阐述这４类研究．

 

  ５ 新能源利用机制与策略

 

  本节首先对新能源在数据中心应用的４个方面进行阐述，如图２所示．然后，我们分析总结国内绿色数据中心的研究现状．

 

  ＲｅＲａｃｋ是一个可以输入上述不同因素的模３期邓 维等：云计算数据中心的新能源应用：研究现状与趋势５９１拟优化器，可用来评估使用新能源的数据中心的能耗开销．ＲｅＲａｃｋ主要包含两个部分：一是模拟器，用来分析新能源的效益，其模型既可以表示数据中心的能耗需求也可以模拟不同地区的新能源变动情况；二是优化器，用来寻找对于给定地区和负载的开销最佳的求解空间．

 

  文献［４］提出的碳感知能源规划方法可以帮助数据中心操作人员设计可持续发展的新能源驱动的系统．该方法假设数据中心内部的ＩＴ设备、冷却设备、供电设备都齐全，而需要规划的决策是多种新能源的配额以及储能设备（Ｅｎｅｒｇｙ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅｓ，ＥＳＤ）的大小．能源来源包括就地新能源、离站新能源、电网、就地柴油发电机、储能设备和间接的新能源市场的产品（如ＲＥＣ和ＰＰＡ）．通过考虑不同碳足迹指标、新能源特性、激励政策、税费，该方法的目标优化函数是最小化上述所有能源组合的费用开销．基于此优化框架，大量真实数据（ｔｒａｃｅ）驱动的仿真实验显示：（１）新能源不仅可以减少数据中心的碳排放量，而且可以减少开支；（２）就地新能源可以减少开销的原因在于它们能直接为数据中心供电，而减少对电网的峰值需求，而传统的作法则是运用更昂贵的ＥＳＤｓ来实现相同的目标；（３）减少碳排放量的最有效方式取决于碳足迹的目标：对于比较低的减排目标（不超过３０％），最好使用就地可用的新能源；更高的碳排放减少目标就需要使用离站新能源；而零碳排放目标就必须借助于新能源产品，如ＲＥＣｓ．

 

  然而，上述能源供应规划方案忽视了对数据中心能耗需求的考虑．文献［１３］提出了一种能耗管理规划方案，使得数据中心的负载能耗需求与供应相匹配．电能供应可以来源于电网、新能源和储能设备．其中，新能源的供应是随时间变化的，依赖于新能源来源、发电机地理位置和天气条件．能耗需求主要取决于随时间变化的数据中心负载和所采取的能耗管理策略．该方法采用ＤＶＦＳ 和服务器整合技术来调节ＣＰＵ功耗和服务器个数，并设置能耗上限来控制能耗需求．储能技术用来储存多余的电能，并用来平滑由于间歇性新能源导致的不稳定电能供应．以上几种配额规划方案都没有考虑新能源对公

 

  众健康及地区经济效益的影响．为此，文献［１２］提出了一种系统最佳能源组合模型，能够考虑电网的可靠性、电力开销、污染对健康的影响、对建筑环境的影响、对景点的影响、对当地财富和环境的影响．而且，该模型可以模拟这些因素之间的交互影响，提供决策信息来设计最佳的电力能源组合．但是该模型只是概念模型，并没有严格的形式化数学表达．虽然现在越来越多的数据中心使用新能源来减

 

  少碳排放量，但是只有少数的绿色环保客户才对新能源感兴趣，而大部分的普通用户并不关心数据中心是否使用绿色能源．为此，数据中心可以提供差异性服务：新能源仅仅为服务绿色环保客户的服务器供能．在新能源加入数据中心供电系统时，应该规划哪些服务器提供的服务由新能源支持，哪些服务器提供的服务由传统电网支持．在相关研究［１４］中，新能源通过并网设备（ｇｒｉｄ ｔｉｅ）将就地新能源并入电网，而电网作为备用能源，当新能源不足的时候才使用电网，而当新能源富余时就存储在电网中．在并网的数据中心中，新能源在供电系统的比例取决于新能源的产量，以及并网设备下的服务器数量．该方法能够量化不同的并网设备放置方案对于新能源利用率的影响．例如，在机架级别放置并网设备可以增加每小时新能源利用率的１．７６倍．

 

  ５．３ 绿色云数据中心内作业调度机制

 

  ５．３．１ 延迟处理作业机制

 

  为了研究数据中心如何利用不稳定的新能源、如何匹配负载的能耗需求与变化的新能源供应，美国罗格斯大学的研究者设计并实现了太阳能驱动的小型数据中心μｄａｔａｃｅｎｔｅｒ———Ｐａｒａｓｏｌ［３４］．最近，他们又为绿色数据中心设计了两个负载调度系统：

 

  ＧｒｅｅｎＳｌｏｔ［１５］和ＧｒｅｅｎＨａｄｏｏｐ［１６］．这两个系统均假设：（１）数据中心既与太阳能电站连接也与电网连接；（２）没有蓄电设备．系统目标都是最大化利用太阳能．非清洁能源只在太阳能不足的时候才被利用．ＧｒｅｅｎＳｌｏｔ［１５］是一个批处理作业调度器，它扩展了ＳＬＵＲＭ 模拟器（ＳＬＵＲＭ 是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统）．用户提交作业时需要设定所需的结点数、期望的运行时间和截止期限．基于历史数据和天气预报，ＧｒｅｅｎＳｌｏｔ首先预测未来太阳能的可用量．在满足作业的延时要求情况下，ＧｒｅｅｎＳｌｏｔ尽可能将作业延迟到未来新能源可用的时候再执行，如图３所示．其中，回填算法是在先来先服务算法的基础上，将队列中较小的作业回填到空闲ＣＰＵ，以提高ＣＰＵ利用率．每个长方形代表结点的个数和每个作业大概需要的时间．垂直线为作业的最后完成期限．ＧｒｅｅｎＳｌｏｔ延迟部分作业的执行（只要不超过截止期限）以保证新能源的利用．例如，ＧｒｅｅｎＳｌｏｔ延迟作业Ｊ１到截止期限之前，从而尽可能多地利用可用的新能源［１５］．如果为了满足延时要求而不得不使用传统电网时，ＧｒｅｅｎＳｌｏｔ则选择电价较为便宜的时候执行作业．

 

  图３ 在调度３个作业（Ｊ１，Ｊ２，Ｊ３）时，回填（Ｂａｃｋｆｉｌｌ）算法（上图）与ＧｒｅｅｎＳｌｏｔ（下图）算法的对比．类似地，ＧｒｅｅｎＨａｄｏｏｐ在Ｈａｄｏｏｐ数据处理的框架下改进作业调度器来最大化新能源的利用．但是调度管理Ｈａｄｏｏｐ作业的能耗更加困难，因为Ｈａｄｏｏｐ作业不设定需要使用的服务器个数、运行时间和所需能耗等信息．此外，能耗调度器需要保证管理的服务器上具有运行作业所需的数据．

 

  但是，ＧｒｅｅｎＳｌｏｔ［１５］和ＧｒｅｅｎＨａｄｏｏｐ［１６］调度系统不适合交互式延迟敏感型应用．文献［２２］既考虑批处理这样的延迟容忍型作业，又考虑Ｗｅｂ服务这样的延迟敏感型应用．对于这两种不同类型的作业，调度器设置两个不同的队列．对于Ｗｅｂ服务，系统限定每个服务器上的请求个数，并在计算资源可用时立即执行，以满足响应时间要求．而对于批处理作业，则利用前面５．１．３小节总结的风能和太阳能可用量预测机制，自适应地延迟调度每个服务器的作业来充分利用新能源．虽然该方法使用的新能源预测算法相对于ＧｒｅｅｎＳｌｏｔ和ＧｒｅｅｎＨａｄｏｏｐ系统更为复杂，但是准确性更高，调度失误率更低．类似地，加州大学伯克利分校的研究者也同时针对批处理任务和交互型服务设计了能源敏捷型集群［２１］．对于批处理任务，该方法同样通过新能源感知的松弛调度来最大化风能的利用．不同的是，对于交互型服务，系统通过降低服务质量（如增加响应时间、选择性地拒绝部分请求）来减少能耗．其代价是影响服务质量．

 

５．３．２ 调节硬件状态方式

 

  除了通过延迟处理作业来匹配可用新能源的方式外，另一种利用新能源的调度方式就是调节处理器或者服务器的功耗状态来调节能耗需求，从而匹配可用的新能源．在处理器层次，佛罗里达大学的ＩＤＥＡＬ实验室设计了ＳｏｌａｒＣｏｒｅ［２０］，一种太阳能驱动的多核体系架构下的能耗管理方案．ＳｏｌａｒＣｏｒｅ依据可用的太阳能动态地设置处理器的能耗预算，并利用ＤＶＦＳ技术根据吞吐率和能耗的比值来动态调节每个核的负载，以充分利用新能源实现最佳的性能．当太阳能利用率低于一定阈值时就开启备用电源（电网）．类似地，对于服务器集群，Ｂｌｉｎｋ［１７］基于变化的可用新能源电量，利用快速休眠状态，动态调节每个服务器的功耗状态来匹配能耗供应．不同的是，该方法假设集群完全依赖绿色能源，不与电网连接．但是，目前数据中心仅仅依靠绿色能源是不实际的，原因在于间歇、不稳定的新能源可能会导致无法控制的性能损失、服务中断和断电．

 

  ５．３．３ 迁移负载调度资源

 

  上述这几种延迟处理作业或者调节硬件功耗状

 

  态的方式会一定程度上影响服务质量．ＩＤＥＡＬ实验室的另一个研究成果是ｉＳｗｉｔｃｈ．为了最大化利用间歇、不稳定的新能源，ｉＳｗｉｔｃｈ在两组服务器之间动态调节负载：一组服务器依靠新能源供能，而另一组依靠传统电网供能．根据能源波动利用虚拟机迁移技术，当新能源不足时就将负载迁移到电网服务器组；当新能源充足时就将任务迁移到新能源服务器组．但是，能耗需求的波动性和新能源的不稳定性导致引入了很多不必要的负载调度开销．

 

  文献在管理负载时集中考虑了新能源供应、动态的电价、冷却方式等因素，来改善数据中心运营的节能环保可持续性．系统首先预测可用的新能源和ＩＴ需求，然后依据这些预测数据来产生ＩＴ负载管理策略———依据变化的能源供应和冷却效率在数据中心中调度负载和分配资源．真实数据驱动的实验显示该方法在保证服务质量ＳＬＡ的同时，可以减少６０％的能耗开销和非清洁能源的使用量．实验回答了３个关键问题：（１）通过新能源和冷却感知的负载管理方式能获得多少益处（减少电力开支和环境影响）？（２）零电网能耗可能实现吗？（３）哪种新能源更有价值？最优的新能源组合是怎样的？

 

  ５．４ 绿色云数据中心间负载均衡机制

 

  云服务提供商通常在全球多个地区拥有自己的数据中心：一是为了尽可能快地为全球客户服务;二是为了故障恢复（数据在不同地区的数据中心复制多份）；三是为了更好利用不同地区的能源供应、电价、冷却方式、税费之间的差异．当然，不同地区的数据中心的可用新能源量是不同的、波动趋势也不尽相同，所以越来越多的研究者发现在跨区域数据中心之间合理地进行负载迁移和请求分发，不仅可以减少总体费用，而且可以充分利用各地的可用新能源、减少碳排放量．

 

  ５．４．１ 跨数据中心请求分发节能减排的可行性剑桥大学的学者提出了Ｆｒｅｅ Ｌｕｎｃｈ［２６］架构．他们假设多个数据中心拥有新能源，而这些产出不稳定的新能源不被使用就会被浪费．数据中心之间通过专有网络连接．Ｆｒｅｅ Ｌｕｎｃｈ根据可用能源来无缝执行和迁移虚拟机，将任务迁移到有富余新能源的数据中心．但是，实现Ｆｒｅｅ Ｌｕｎｃｈ这种通过虚拟机迁移负载来充分利用新能源的思想有以下５点挑战：（１）虚拟机在线迁移具有很大性能开销．例如，在新西兰和澳大利亚的数据中心之间迁移的最小延时是６７ｍｓ．（２）Ｆｒｅｅ Ｌｕｎｃｈ假设系统中所有服务器都连接到网络附加存储（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）．在单个数据中心这个假设是合理的，但是在多个不同地区的数据中心之间，虚拟机的迁移需要保证虚拟机磁盘状态和数据的一致．（３）多个数据中心之间的虚拟机磁盘镜像放置也是一个挑战．虚拟机的正常运行需要磁盘镜像随时可访问．虚拟机只能被放置或迁移到具有镜像的数据中心中．（４）ＦｒｅｅＬｕｎｃｈ比较适用于无状态的、非交互型、访问数据量小的应用．大量的网络延时使其难以满足延迟敏感和交互型应用的服务等级协议ＳＬＡ．尤其是当负载具有大量的磁盘访问操作时，负载迁移的时间和数据处理使其开销更大．（５）Ｆｒｅｅ Ｌｕｎｃｈ假设数据中心的计算资源与绿色能源来源是在一个地点的．

 

  因此，更合理地利用不同地区数据中心的新能源、减少碳排放量的方式，是分发用户网络请求，依据可用新能源或碳排放量的不同来均衡各个数据中心的请求数量．加州理工学院的Ｗｉｅｒｍａｎ等人从理论和实验上证明这种方法的可行性．他们在文献［１０］中研究互联网系统完全利用新能源的可行性．研究发现小规模的储能设备配合分布式请求转发机制，对于完全依赖于新能源的数据中心就足够了．最佳的新能源组合是主要用风能，而使用相对较少的太阳能来处理白天时段的高峰需求．他们在文献［２４］中研究跨数据中心的负载均衡能否刺激新能源的利用、减少化石燃料的使用．此研究主要针对新能源输出的电量接入到电网，进而为数据中心供电的情形．研究发现负载均衡机制的好处取决于新能源加入电网后的定价方式.

 

  ＰＢｉ分别表示这些能源的单价．约束条件（１４）表示分发到Ｎ 个数据中心的请求之和与到达数据中心系统的请求数λ 相等．约束条件（１５）保证能耗费用不超过预算Ｂｕｄｇｅｔ．基于线性分数规划（Ｌｉｎｅａｒ－Ｆｒａｃｔｉｏｎａｌ Ｐｒｏｇｒａｍｍｉｎｇ，ＬＦＰ）方法，ＧｒｅｅｎＷａｒｅ利用Ｍａｔｌａｂ中的ｌｉｎｐｒｏｇ解决方案求得最优解．类似地，文献［２９－３０］考虑在设置非清洁能源使用量上限情况下，如何依据不同地区的不同电价和碳抵消交易市场来分发请求，实现充分利用绿色能源并最小化能耗开销，并同时满足服务质量ＳＬＡ．文献［２８］考虑不同地区处理请求的不同碳排放量和网络延时对服务质量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）的影响，对碳排放和ＱｏＳ之间的权衡作了优化处理．文献［３］设计的ＦＯＲＴＥ优化框架依据负载和碳足迹的变动来动态控制每个数据中心的用户请求比例．它允许运营商操控３个方面的权衡：访问延时、碳足迹和电量开销．

 

  ５．４．３ 新能源感知的路由算法

 

  目前，大量的研究工作关注于优化数据中心计算的能耗，而较少研究者关注连接大规模分布式数据中心的网络的能耗．数据中心运营者和网络提供商如何以最小的开销提供期望的性能是设计分布式服务的关键挑战．主干网的总能耗是所有链路和路由器能耗之和．其中，链路的能耗是距离的函数，主要用于信号放大．路由器的能耗大部分固定在额定值，是主干网能耗的主要部分．目前，网络路由主要采用最短路径算法．随着路由器改进为能耗均增方式（Ｅｎｅｒｇｙ Ｐｒｏｐｏｒｔｉｏｎａｌ），未来路由器需要根据负载状态和可用新能源量来动态路由．文献［３２］提出了新能源感知的路由算法以改善网络系统的能效．该算法选择那些具有最低非清洁能源消耗量且同时满足带宽要求的路径来路由请求．实验结果表明，使用能耗均增的路由器和新能源感知的路由算法能将路由器的能效提高１０倍，并增加３６％的作业完成率．

 

 

５．５ 国内绿色数据中心研究现状

 

  国内在数据中心节能减排、新能源应用方面的相关研究起步晚于国外．但在国家大力倡导资助和国内科研工作者的刻苦攻关下，迄今已取得了一定的成果．

 

  在综述方面，２００９年四川大学郭兵教授发表了题为“绿色计算的重定义与若干探讨”的文章［３５］．文章提出了绿色计算的一些基本思路和一般性方法，为下一步研究绿色计算的具体模型、方法与工具打下了必要的基础．２０１１年清华大学的林闯教授发表了题为“绿色网络和绿色评价节能机制、模型和评价”的文章［９］．文章提出了随机模型的绿色评价框架，为构建绿色网络和节能减排计算系统的评价体系奠定了基础．２０１２年浙江大学的叶可江博士和吴朝晖教授发表了题为“虚拟化云计算平台的能耗管理”的文章［３６］，总结对比了云计算中心的节能减排模型和机制．在研究上，清华大学的林闯教授利用随机佩特里网（Ｓｔｏｃｈａｓｔｉｃ Ｐｅｔｒｉ Ｎｅｔｓ）为数据中心的能耗管理进行了理论建模和分析，提出了开销感知的作业调度算法［３７］．在新能源的应用上，林闯教授研究了将太阳和风能在储能设备帮助下加入电网的可行性．为了解决能量供应和需求都不稳定的问题，他们应用随机网络演算（Ｓｔｏｃｈａｓｔｉｃ Ｎｅｔｗｏｒｋ Ｃａｌｃｕｌｕｓ）分析了各种新能源配置条件下能量供应的可靠性［３８］．清华大学的李丹老师对比分析了数据中心网络的能效［３９］，提出了数据中心网络中能耗感知的路由算法［４０］．中国科学院计算技术研究所的刘志勇研究员设计了基于离散开销函数的网络路由算法［４１］．在科研项目上，２０１１年清华大学林闯教授和中国科学院计算技术研究所刘志勇研究员主持负责了国家自然科学基金重大国际合作项目“绿色网

 

  络———降低网络能耗的理论与技术”．同年上海交通大学陈贵海教授联合清华大学和华中科技大学负责研究自然基金重点项目“大型数据中心的低能耗可扩展理论与关键技术”．浙江大学冯培恩教授在２０１２年两会提交的《关于加快发展云计算的提案》中提出大力推广云计算中心对新能源的采用．国家“十二五”科技发展规划大力培育和发展以节能环保、新一代信息技术、新能源为代表的战略性新兴产业．

 

  ６ 总结与展望

 

  本文综述了新能源在云计算数据中心的应用机制和策略．本文首先分析了新能源在数据中心中应用的必要性、挑战和途径，然后分类对比了最新相关研究成果．本文从新能源模型和预测机制、数据中心能源配额规划、数据中心内作业调度和数据中心间负载均衡４个关键方面对研究现状进行总结．其中，新能源的发电模型刻画了产电量与各种相关因素的关系，这不但可以指导预测模型选择参数，也可以指导新能源的配额规划．新能源预测机制是数据中心应用不稳定新能源的重要一环，其预测的准确性会影响资源调度的合理性．作业调度和负载均衡是实现数据中心内部及多区域数据中心之间充分利用新能源的有效机制．这４个方面关系密切，相互衔接，构成了云计算数据中心采用新能源的整体解决方案．目前，新能源在数据中心的应用还处于起步阶段，相关研究成果主要集中在近３年．很多问题和难点都需要进一步的研究．具体总结如下：

 

  （１）多种能源协同组合．目前研究主要针对风能、太阳能，均需要大量的土地和资金．如何提高产电效率并减少费用是能源界面临的重要挑战．沼气、生物质能等可再生能源也可以为数据中心供电．数据中心购买ＲＥＣ、ＰＰＡ和碳补偿的机制尚不成熟．数据中心运营商如何因地制宜地选择最佳能源组合是首先面临的问题．

 

  （２）新能源建设规划．依据数据中心负载特性来估算能耗需求，从而决策采用多少新能源．从技术资源、投资回报率、社会效应等多方面考虑，选取最适合的新能源电站建设方案．

 

  （３）适量的储能设备．新能源的不稳定性严重阻碍了新能源的广泛应用．依据新能源发电量、数据中心负载、储能设备资金投入等多方面因素，选择合适大小和规模的储能设备来储存新能源的产电量，能够在需要时释放．这是利用新能源的关键措施之一．（４）数据中心能耗需求与新能源供应相匹配．由于数据中心负载和新能源供应都是不稳定的，负载能耗需求的波动对新能源的利用有什么影响，新能源的间歇性对数据中心服务质量有什么影响，如何匹配需求与供应都是需要解决的实际问题．

 

  （５）智能准确的可用新能源预测机制．可用的新能源电量影响到数据中心作业调度及资源分配决策．准确的预测机制是自适应作业调度的关键．（６）作业调度的多目标优化．为了充分利用不稳定新能源，调度作业来匹配能源供应需要考虑作业类型、作业服务质量ＳＬＡ 和ＱｏＳ、作业状态一致性、服务稳定性和可靠性等．

 

  （７）请求分发的数据可访问性．在多个数据中心之间分发请求，将不同用户映射到不同的数据中心，而不同的数据中心具有不同的数据库．仅仅依据新能源或者碳排放来决策分发机制，可能会导致请求被分发到不具有要访问数据的数据中心．分发机制应该综合考虑用户、数据中心和数据的对应关系．（８）由于数据中心采用新能源加传统电网的供电方式，因此，新能源与电网之间如何切换、切换频率大小、切换开销大小、如何协同给数据中心供电都是这种混合供电方案需要回答的难题．

 

  （９）新能源数据中心的评价标准．数据中心如果仅仅考虑ＰＵＥ标准，就会忽视碳排放和性能．而新制定的ＣＵＥ 标准也只是考虑碳排放，而没有涉及开销和性能．此外，Ｐｅｒｆｏｒｍａｎｃｅ／Ｗａｔｔ或者Ｄｏｌｌａｒ／Ｗａｔｔ指标分别评价的是数据中心单位能耗所提供的性能和收益．目前，尚没有全面的、多维度综合考虑的新型数据中心评价标准．