风能资源数值模拟是评价宏观区域风能资源可开发状况的重要手段，由于测风塔分布数量有限，仅依靠单纯测风塔的资料很难对风能资源的空间变化格局做出准确评价，因此选用模型模拟风能资源分布已成为一种重要而被广泛接受的研究方式^[1-5]｡目前国际上流行的中尺度风能资源模拟模式主要有美国的MM5^[6-7]与RAMS模式^[8]、澳大利亚的WindScape模式^[9]、加拿大的WEST模式^[10]和丹麦的KAMM模式^[11]等｡丹麦利用KAMM/Wasp中微尺度和微尺度结合方式^[12]，已于2001年完成了丹麦全国陆域数字风能资源图谱的制作，并对风能资源的开发利用做出了细致评价，为该国风电规模化发展打下了扎实的基础｡在我国，2007年底国家发展和改革委员会、财政部、中国气象局联合组织启动了全国风能资源详查和评价工作，旨在建立我国风能资源专业观测网，开展风能资源度高分辨率数值模拟和风能资源综合评价，提出总装机容量约5×10⁷kW的风电场项目储备｡

风能资源高分辨率数值模拟，尤其是大范围区域的高分辨率数值模拟，常需要强大的计算资源作为模式运算支撑｡辽宁省曾运用MM54层嵌套方式 (最外层网格间距为27km, 网格数为103×103，最内层网格间距为1km, 网格数为52×52) 在IBM1600机型上对风能资源数值模拟的运算量进行了试验，试验结果为使用64个CPU完成36h的风能参数模拟计算约需270 min ^[13-14]｡由此看来，数值模式运算的低时效是制约风能资源高分辨率数值模拟的重要因素｡通过寻找一种新的计算方式来提高数值模式运算功效，是解决弱计算能力部门开展风能资源高分辨率数值模拟的重要途径｡本文通过对MM5和CALMET数值模式主程序计算流程 (尤其是CALMET计算流程) 的详细分析，在不改变数值模式原计算理论和计算方法的基础上，设计了MM5和CALMET耦合模式的并行运算多作业管理方式，该方式能够极大提高了数值模式运算功效，不仅解决了弱计算能力部门开展风能资源高分辨率数值模拟的瓶颈问题，同时也为其他数值模式的高效运算提供了一种参考方式｡

MM5数值模式是美国宾州大学和NCAR共同研制的中尺度非静力气象模式，模式结构分为前处理、主模式和后处理3部分｡主模式是整个模拟系统的核心部分，是研究气象过程的主控程序，其物理过程主要包括积云对流参数化方案^[15]、辐射方案、高分辨率行星边界层方案等^[16]｡CALMET是由美国地球技术公司 (Earth Tech Inc) 开发的用于复杂地形的边界层微尺度气象诊断模式，起初该模式主要应用于大气质量评估和预测系统CALPUFF中^[17]，现今在风能资源评估和风电功率预报方面亦取得了较大进展^[18-19]｡MM5与CALMET两模式之间具有很好的对接功能，可相互耦合在一起共同开展风资源模拟研究，如Yim等利用MM5与CALMET耦合模式在复杂地形条件下开展了风资源的高分辨率模拟^[20]｡在2007-2011年我国的风能资源详查和评价工作中，中国气象局推荐使用MM5/CALMET耦合模式在省级范围内开展风能资源短期数值模拟，要求模式计算时间步长为秒级，输出产品的时空分辨率为水平分辨率为1km×1km, 垂直分辨率为10m, 时间间隔为1h｡

基于并行运算的多作业管理是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段｡由于MM5模式起初就是针对宏观区域的中尺度数值模拟设计的，其模式程序中已考虑了计算机并行运算的需求，并行运算程序代码在多数MM5用户指南的附录中可查找到，故在本文中不再赘述｡CALMET模式是一个局地微尺度的气象模式，模拟范围较小通常不需并行运算，因此模式的设计是单机版^[21]，不符合并行运算要求｡本文针对CALMET模式与MM5模式之间的相互关系，在两个模式计算流程的连接处，设计了MM5与CALMET耦合模式的并行运算多作业管理方式｡

CALMET模式模拟计算所要用到的模块依次有CALMM5、初始化模块、计算模块和退出模块^[21]｡CALMM5模块从MM5数值模拟结果中抽取所需变量并转换到CALMET要求的格式；初始化模块读取分析命令行参数和控制文件中的参数和设置，并做好所需数据文件准备；计算模块是CALMET的核心模块，以时次为主循环，依次完成MM5数据读入并初始化到CALMET格点场，进行地形动力学效应、地形阻塞效应及坡面流调整，客观插值分析，海陆风效应调整，质量守恒性调整和数据结果输出；退出模块主要完成结束数据文件的出入口，运算时间分析等｡CALMET模式模拟计算流程见图 1｡

图 1

图 1. CALMET模式模拟计算流程 Fig 1. The flowchart of CALMET simulation

在CALMET模式运行中，对并行设计比较重要的有以下3个特征:模式中不同日期的运算是相互独立的；在计算模块中，各时次的运算基本上相互独立，只在边界层的混合层高度计算时要用到前1时次的结果；在计算模块中，各个模块逐步进行，参数变量通常以三维空间数据块的形式传递，如东西方向水平风速定义为Fortan变量u(n_x，n_y，n_z)，n_x为东西向格点数，n_y为南北向格点数，n_z为垂直方向格点数｡

依据CALMET模式模拟计算的流程结构，实施并行运算大致有3种方案｡方案1，按日期并行 (在图 1中标识处):该方案适合消息传递的并行方式，实现也较为简单｡在日期循环处加入并行任务分配代码，因为各日期之间相互独立，不必修改CALMET程序，只需修改CALMET控制文件中的出入口文件名即可完成｡但该方案对计算机内存的需求随并行数成倍增加，并行效率在3个方案中为较低｡方案2，按时次并行 (在图 1中标识处):该方案适合消息传递的并行方式，实现难度中｡在时次循环处插入并行代码，但由于时次之间计算不完全对立，还需要在部分函数中加入消息传递代码｡该方案对计算机内存需求也随并行数成倍增加，但运算效率要高于方案1｡方案3，按空间分解并行 (在图 1中标识处):该方案适合共享存储并行方式，实现较难，而并行效率高｡该方案需在计算模块的地形动力学效应、地形阻塞效应及坡面流调整、客观插值分析、海陆风效应调整、质量守恒性调整等函数中的数组循环语句段中插入适当的并行指令｡但该方案只能用于单一节点，将其与方案1和方案2联用效果最佳｡

在MM5和CALMET耦合模式的运算中，MM5模式运算速度很快，而单机版的CALMET模式只能利用单台计算机逐一按日对MM5的输出结果进行处理和计算，这就造成MM5模式的输出结果在计算机中逐渐累积，而另一方面计算机集群中其他计算机却都在闲置，耦合模式运算速度十分缓慢，因此需对CALMET模式做并行运算处理｡在上面提到的3个并行运算方案中，方案2和方案3必须通过修改CALMET程序源代码方能实现，这需要得到美国地球技术公司 (EarthTechInc) 的认同，故暂时尚未开展此部分工作｡针对方案1的并行运算思想设计了MM5和CALMET耦合模式的多作业管理方式 (如图 2所示)，利用并行任务分配模块可将MM5模式的运算输出结果按不同日期指派计算机集群中不同的CPU，这就充分使用了集群中的各种计算资源，极大地缩短了模式的运算时间，提高了运算功效｡“并行任务分配模块"的核心程序代码列为:

Parallcalmet (int startday, in tnday)//startday为初始日期，nday为运算天数；

图 2

图 2. MM5与CALMET耦合模式的多作业管理方式 Fig 2. Multi-job management mode of the coupled MM5/CALMET system

{intrank, size, i, day；//rank为并行进程的进程号 (CPU序号)，size为总并行进程数 (CPU总数)，i为天循环数，day为循环中的当前日期；

MPI_Init ( & argc, & argv)//MPI_Init为并行初始化函数；

MPI_Comm_rank (MPI_COMM _WORLD， & rank)//获取各个CPU各自序号；

MPI_Comm _size (MPI_COMM _WORLD， & size)//获取可用的总CPU数；

for (i=rank；i＜ndays；i=i+size){day=startday + i；calmet (rank, day)；//calmet (rank, day) 表示在rank序号的CPU中运行日期为day的CALMET模式}

MPI_Finalize ()//MPI_Finalize为并行终结函数}｡

浙江省风能资源的高分辨率数值模拟采用MM5和CALMET耦合模式，模式构架在曙光TC2600集群系统上，集群共7个节点，每个节点有2个XEON5430四核CPU，其中1个节点用于模式作业运行管理，另外6个节点 (48个CPU) 用于模式运算｡MM5模式的网格设置采用二层嵌套，中心点位于28.5°N，121°E，外层区域为103×73格点，格距为27km, 内层为73×73格点，格距为9km｡CALMET模式采用649×649格点，中心位置同MM5模式，格距为1km｡耦合模式最终输出结果为风速、风向、风功率密度等风能参数，其水平分辨率为1km×1km、垂直分辨率为10m, 计算时间步长为秒级，模拟结果输出时间间隔为1h｡以2009年11月1-30日数值模拟试验时间段为例，运算方式改进前后的数值模式运行所需消耗的时间见表 1｡

表 1

表 1 MM5/CALMET耦合模式原运算方式与多作业管理方式耗时 Table 1 Time-cost of MM5/CALMET simulation by original calculation mode or multi-job management mode

表 1 MM5/CALMET耦合模式原运算方式与多作业管理方式耗时 Table 1 Time-cost of MM5/CALMET simulation by original calculation mode or multi-job management mode

因本研究的多作业管理方式只改变MM5/CALMET耦合模式的运算方式，而不改变模式的原计算理论和计算方法，故在多作业管理方式实施前后，数值模式模拟输出的结果是一致的｡MM5/CALMET耦合模式模拟计算的浙江省2009年11月的风能参数 (月平均风速、月平均风功率密度) 空间分布见图 3｡图 3a显示浙江内陆区10m高度的月平均风速多在5.5 m/s以下，内陆的局地山区风速可达6.0~6.5m/s, 浙江沿海区及近海海域风速较大 (尤其是浙南海域)，月平均风速多为7.010m/s｡70m高度的月平均风功率密度空间分布方式 (图 3b) 表现为浙江内陆多数地区风功率密度较低，多为400 W/m²，内陆局地山区及沿海海域的风功率密度较高，多为500~600 W/m²，局地海域可达700 W/m²以上｡

图 3

图 3. MM5与CALMET耦合模式输出的2009年11月风能参数 (a)10m高度月平均风速，(b)70m高度月平均风功率密度 Fig 3. Wind energy parameters of the coupled MM5/CALMET mode output in November 2009 (a) monthly mean wind speed, (b) monthly mean wind power density

在模拟试验时段为1d时，多作业管理方式的“并行任务分配模块"将CALMET运算过程指派给1个CPU运算，这类似于MM5/CALMET耦合模式的原运算方式，运算时效与先前相同｡在模拟试验时段为多天时，多作业管理方式会将CALMET运算过程同时指派给不同的CPU运算，此时的运算过程涉及了计算内存之间的数据交换，耗费了一定时间，但此种时间耗费不会随运算CPU个数的增多而有明显变化，故随着模拟试验时段的增长，多作业管理方式的运算功效逐渐显现 (表 1)｡

在模拟试验时段为1个月时 (表 1)，MM5模式完成运算过程约需210 min；按CALMET原运算方式，完成整个过程约需耗时1500min, 整个耦合模式完成1个月的数值模拟共需1710min｡耦合模式的运算时间主要集中在CALMET模式的运算过程｡加入“并行任务分配模块"实施多作业管理方式后，MM5模式1个月的模拟结果可以同时指派给28~31个CPU同时运算，每个CPU的CALMET模式运算时间约50~150min不等，这种方式使CALMET完成1个月数值模拟的运算时间最多只需150min, 较其原运算时效提高了9倍｡整个耦合模式完成1个月的数值模拟仅需360min, 比原运算方式的时效提高了近4倍，与文献[14]中提到的运算方式相比，在同等计算能力条件下粗略计算，多作业管理方式使得模式运算功效提高了数十倍｡

本文在详细分析MM5和CALMET数值模式计算流程的基础上，基于并行运算思想，提出了一种适合于宏观区域开展风能资源高分辨率数值模拟的并行运算多作业管理方式｡在浙江省风能资源数值模拟试验中，证实了多作业管理方式可使MM5和CALMET耦合模式的运算功效大幅提高｡得到以下初步结果:

1) 在MM5和CALMET耦合模式计算流程中，加入并行任务分配模块，实施多作业管理方式运算，可将MM5模式运算输出结果按日期分配给多个CPU独立完成CALMET模式计算过程，使得耦合模式可充分调动计算机集群中的各种计算资源｡

2) 浙江省风能资源数值模拟试验证实:完成浙江区域1个月时间段的风能资源参数模拟运算，MM5和CALMET耦合模式在实施多作业管理方式后，CALMET模式的运算时效提高了9倍，整个耦合模式的运算时效提高了4倍｡

3) 在使用MM5和CALMET耦合模式开展风能资源数值模拟时，多作业管理方式的功效会随耦合模式模拟时间段的加长和模拟区域范围的扩大而增强，即耦合模式模拟的时间段越长、模拟的范围越大，多作业管理方式对耦合模式运算功效的增强会更明显｡

由于本文中的多作业管理方式设计所基于的并行运算思想还只局限于MM5模式和CALMET模式之间的，尚未涉及到CALMET模式内部，虽然耦合模式的运算功效已得到大幅提高，应用效果良好，但模式运算功效仍有很大提升空间｡下一步将针对CALMET模式内部计算流程中的小时计算和空间计算过程做并行运算处理，使时空并行运算同步进行来进一步提高模式的运行时效｡