气象数值模拟是利用高性能计算系统对数值模式所采用的数学物理模型进行求解的过程，针对气象数值模拟的计算实现大多采用并行计算方法，计算规模庞大，计算过程十分复杂，是对科学计算领域的重大挑战。随着数值模拟技术的不断发展，对高性能计算系统计算能力的需求不断增加^[1]。系统峰值性能持续快速增长，系统规模已达到千万亿次，但应用程序可获得的持续性能并没有与峰值性能保持同样的增长速度。由于系统体系结构和应用实现算法日益复杂，影响程序性能的因素越来越多，基于目前在现代气象业务中发挥重要作用的气象数值模式，对高性能计算系统有效性能进行合理评测技术的研究工作在高性能计算系统的采购、安装调试和性能优化的各个环节中具有越来越重要的指导意义^[2]。

目前，在高性能计算系统性能评测相关研究中，将应用性能与系统属性相关联的性能模型技术成为研究热点。隶属于美国能源部的三大实验室：洛斯阿拉莫斯国家实验室、劳伦斯·利弗莫尔国家实验室和桑迪亚实验室自1999年开始结合具体的系统结构，为面向ASCI (Accelerated Strategic Computing Initiative) 典型应用构建性能模型，在系统引进、优化和维护中发挥了重要作用。美国圣地亚哥超算中心也建立了基于系统性能和应用特征的性能模型，用以建立高性能计算机性能评价尺度、研究性能评价方法^[3]。

中国气象局为提升我国应对气候变化的科技支撑能力，在“气候变化应对决策支撑系统工程”中启动国家级气象高性能计算能力建设工作，比以往更加突出了以气象数值模式业务应用需求为导向的建设理念，设置了模式移植与优化分系统，负责高性能计算系统性能评测技术和方法的研究与实施。第1批高性能计算系统采购工作自2011年启动，对中国气象局核心气象数值模式计算特征进行分析，将其与现有高性能计算系统体系结构及系统软、硬件属性结合，提出并实施了千万亿次气象高性能计算系统性能评测设计方案，以支持系统性能测试、选型和引进工作。

国家气象信息中心是国家级气象信息技术业务中心，为国家级气象业务运行和科学研究工作提供信息技术支撑，同时也是北京高性能计算机应用中心，负责向社会提供高性能计算资源共享服务^[4]。目前，国家气象信息中心高性能计算能力建设在国内处于领先地位，拥有先进的高性能计算系统，聚合峰值能力达到37 TFLOPS以上。通过多年实践，培养建立了经验丰富的高性能计算机系统维护、高性能计算和应用支持开发队伍，为全国气象业务、科研工作顺利开展提供有力的技术保障^[5]。

气象数值模式的发展在很大程度上依赖于高性能计算系统，中国气象局现有的支撑国家级预报预测业务的高性能计算系统自2004年建立以来，已经投入运行8年时间，在运行前期，为气象数值模式发展提供了丰富的计算资源。但近年来，随着气象数值模式业务系统不断改进升级，服务领域不断拓展，资源需求持续快速增长，系统利用率和用户数量持续攀升。在一定程度上，现有高性能计算能力已经制约了模式的发展，与国外相关行业相比，中国气象局高性能计算系统能力建设已经明显滞后。

因此，中国气象局亟需引进并建设一个能够在未来一段时间内满足气象业务、科研工作需求的高性能计算基础支撑平台，以解决计算资源紧缺问题。如何在国内外众多的高性能计算产品中选择一个切实适合我国气象应用的高性能计算系统的关键就在于是否能对系统性能进行真实、有效的测试和评价。

气象数值模式是现代天气预报和气候预测的基本工具和方法，是基于地球系统中的动力、物理等过程建立起来的数学方程组 (包括动力学方程组和参数化方案) 来确定其各个部分的性状，由此构成数学物理模型，然后用数值方法进行求解，并在计算机上付诸实现的一种大型综合性计算软件，它能够反映地球各圈层之间的相互作用^[6]。

气象数值模式是典型的复杂科学计算数值模拟问题，具有计算密集、数据密集和网络通信密集等特点，必须以高性能计算系统为载体，对计算系统综合性能要求很高。用于天气预报的数值模式具有极高的时效性要求，必须在指定的时间内完成特定运算。用于气候模拟的数值模式，需要完成几十年、几百年甚至上千年的长期积分，对系统稳定性有很高的要求。因此，在引进高性能计算系统时，应选择较为成熟的商用高端产品，为实时业务提供可靠、稳定的运行平台。

GRAPES模式^[7]是中国气象局自主研发的数值天气同化预报业务系统，是数值天气预报业务的核心。GRAPES模式是格点模式，采用半隐式-半拉格朗日 (SISL) 格式的时间差分计算方案^[8]，三维矢量质点轨迹计算方法与拉格朗日降阶插值方法等^[9-10]，采用SPMD (single program multiple data) 并行编程模型。随着业务系统需求的增加，模式分辨率越来越精细，计算规模也越来越大，因此在对计算系统单核CPU的计算性能有很高要求的同时，每个进程承载的计算量和进程之间的通信量都很大。例如，水平分辨率为0.15°×0.15°的GRAPES全球模式，要求在60 min内完成10 d预报，要求计算系统具有很强的数据通信吞吐能力以及对并行计算可扩展性的支持能力。

BCC_AGCM模式^[11-12]是中国气象局自主研发的全球大气环流谱模式，是短期气候预测业务的核心^[13]。模式水平分辨率可调 (缺省为T42波，2.8125°×2.8125°经纬网格)，垂直为26层，采用消息传递 (MPI) 和共享内在 (OpenMP) 混合并行编程。模式采用频谱欧拉动力框架，计算过程需要进行格点与谱空间的转换^[14]，对通信带宽有极高的需求。由于气候模式主要用于月、季、年甚至百年尺度的气候模拟，积分时间很长，数据输出频次高、数据量大，属于I/O密集型计算。

BCC_CSM模式^[15-16]是中国气象局自主研发的气候系统模式，代表中国气象局参加政府间气候变化委员会第5次气候评估报告 (IPCC AR5) 的情景预测试验和各种国际模式比较计划 (CMIP5) ^[17-18]。BCC_CSM模式包含了大气、海洋、陆面、海冰等分量模式，采用MPMD (multiple program multiple data) 并行编程模型实现，4个分量模式周期性与耦合器交换数据。BCC_CSM模式的各个模块都是独立的可执行程序，并发运行在不同的处理器组上，耦合器将空间和时间上的边界交换数据重映射到各处理器，控制模式运行状态，属于通信、I/O密集型计算^[19]。在CMIP5试验中，完成整个IPCC AR5所要求的评估试验，整个模式系统需积分7500个模式年以上，完成核心试验需要积分2000个模式年以上。由于气候系统中地球表面不均匀受热和不稳定大气流动的影响，系统具有十分明显的非线性特征，完成如此巨大的计算任务，对高性能计算系统整体协调性、均衡性和稳定性具有很高的要求。

•单处理器核性能 气象数值模式计算绝大部分数据采用浮点数表示，计算精度要求高，对处理器单核浮点计算性能要求很高。

•计算网络性能 气象数值模式采用并行编程模式，即在一定时间内，由多个处理器核共同完成1个计算任务，以提高计算效率，缩短计算墙钟时间。因此较高的互联网络带宽和较低的延迟可提高并行计算效率。

•I/O性能 随着气象数值模式的发展，时空分辨率越来越高，物理、化学等过程的描述越来越精细，使模式数据海量聚积。因此要求高性能计算系统在底层硬件架构，系统软件层 (文件系统、MPI对并行I/O的支持等) 都要充分考虑I/O性能，使系统的计算能力和数据访问能力能够达到平衡。

•编程模式 目前气象数值模式并行方法主要有MPI和OpenMP两种^[20]。采用MPI与OpenMP混合并行方式可以有效减低数据重复，较单一MPI方式更易扩展。因此，要求高性能计算系统必须支持混合编程模式。

•并行应用开发环境 由于气象数值模式代码量巨大，多采用Fortran77/90/95语言开发，部分程序采用多种编程语言混合开发，程序调用层次多，数据结构复杂。在模式研发、稳定性测试和性能分析、调优过程中，对并行应用开发环境也有较高要求。

•作业管理 气象数值模式业务系统逻辑调用关系非常复杂，作业划分、运行、管理和维护工作对系统作业调度能力有很高的需求，尤其需要可设置作业优先级的作业调度功能。

•系统容错 高性能计算系统应为气象数值模式提供系统级计算可靠性保障技术和并行容错方法，保证并行计算的可靠性和稳定性。

•性能均衡 气象数值模式是复杂的科学计算工程，不仅对计算系统各部分硬件单项系统性能指标具有很高的要求，更重要的是系统性能要均衡，运行稳定，同时结合功能完善、使用方便灵活的软件支撑系统才能获得更高的计算效率和更好的使用效果。

•技术服务 中国气象局所采用的高性能计算系统将在一定时期内作为主要高性能计算平台承担国家级气象数值模式业务系统的运行。不仅要在测试中表现出良好的性能，满足业务需求，同时，还要充分考虑国内外计算机厂商对系统的技术支持能力。系统整体稳定性、可用性、无故障时间、故障修复时间及故障隔离能力是否能够满足业务系统稳定运行和阶段内发展的需求。

对高性能计算系统性能进行评测可以采用的方法主要有实际测量法、基准测试法和评测模型法3种^[21-23]。

•实际测量法 实际测量法是在高性能计算系统运行真实的气象数值模式，测量模式运行的时效, 是对高性能计算系统性能测试最有效、最准确的方法。

•基准测试法 基准测试法是采用计算机业界标准的Benchmark测试程序集测试系统性能。可针对系统某一方面系统性能进行测试。如Linpack测试计算峰值速度，Stream测试内存带宽，IOzone测试系统I/O能力等。

•评测模型法 评测模型法是一种比较新的技术，采用应用特征与系统属性相关联的方式表示系统性能。评测模型法可应用于高性能计算系统测试、选型、设计、安装和优化的整个生命周期，受到广泛重视^[24]。

以上方法各有其优缺点和适用范围，基准测试法采用与实际应用类似的核心模块来估计系统的实际性能，可以反映应用的部分负载特征，但测试得到的性能和系统实际性能之间存在较大的差异，如Linpack能比较准确地模拟密集型矩阵运算，但不适用于稀疏矩阵运算模型^[25]。在系统引进阶段，系统整体还未实现，不能采用实际测量法。因此，在此次高性能计算系统引进工作中，综合采用了3种方法对各高性能计算系统进行综合性能评测。

测试分为两个阶段。在系统选型阶段，采用基准评测程序对高性能计算系统各方面性能进行评测的同时，充分考虑气象数值模式在计算方法和模型设计上的复杂性，设计一个具有普遍代表性的评测模型对系统性能进行预测。在系统安装和调试阶段，将采用实际测量法对系统进行真实的性能测试和评估。通过两个阶段的工作，可得到与气象数值模式匹配度最优的高性能计算系统。同时，还可用实际测量法对其他两种评测方法的评测结果进行正确性和有效性验证，对评测模型进行优化和订正，使其可更加有效地应用于未来系统性能评测、选型、引进和性能优化工作中。

首先，需要针对现有气象数值模式对高性能计算环境的计算需求，从众多因素中提取影响最大的关键因素，作为评测指标。其次，根据气象数值模式业务需求，建立中国气象局气象行业高性能计算系统性能评测程序集，设定约束条件，形成测试题目，按照测试方法进行测试，制定测试结果的评价标准，依据标准对测试结果 (包括物理意义合理性、性能、功能) 进行定性和定量评估，从而给出综合评测结论。在测试评估完全周期中，需要引入对所涉及、生成的程序、数据、软件、模型、文档、报表等信息载体的质量控制、生命周期及版本管理。总体方案设计如图 1所示。

图 1

图 1. 气象高性能计算系统性能评测方案 Fig 1. Meteorological high performance computing system performance evaluation scheme

对于适合气象应用的千万亿次高性能计算系统的评测指标主要分为系统评测指标和应用评测指标两个部分，系统评测指标是从系统规模、系统功能、系统性能3个方面对高性能计算系统进行评测，应用评测指标是采用典型气象数值模式完成实际应用测试，是高性能计算系统对真实气象行业应用支持能力的评测^[26]。

在系统评测指标中，系统规模指高性能计算系统所能提供的理论计算峰值性能、处理器核数、存储容量等反映系统实际资源规模的量化指标。系统功能指高性能计算系统对气象应用提供的功能支撑，如大规模并行程序开发、调试、优化功能、作业管理功能等。系统性能包括系统单项性能和系统综合性能，系统单项性能指系统处理器核的浮点计算能力、系统单节点计算能力、高性能计算网络数据交换能力、系统I/O能力等单项性能指标。系统综合性能指气象数值模式在高性能计算系统可获得的持续计算能力、系统软、硬件配置是否合理、运行是否协调，包括系统的可扩展性、平衡性、容错性、稳定性、易用性、可靠性及场地环境支撑能力等指标。

在应用评测指标中，根据每道测试题目的业务需求和测试目的设定评测指标，包括在固定问题规模，满足时效需求前提下，完成计算任务所需的最小系统资源配置、最短时间等。

测试程序集是整个测试过程的重要组成部分，作为对高性能计算系统进行评测的工具，考核高性能计算系统是否能够满足气象行业应用的需求，提供保障气象数值模式业务、科研工作顺利进行的能力。

通过对中国气象局主要气象数值模式进行分析，考虑代码对不同高性能计算系统的兼容性，系统级优化潜力、算法级优化潜力及并行可扩展潜力，确定此次测试的气象数值模式 (如表 1所示)。测试共包括5个主要天气应用模式、2个主要气候应用模式和3个系统基准测试程序。其中GRAPES-GLOBAL, GRAPES-MESO模式是中国气象局自主研发的天气模式，BCC_AGCM和BCC_CSM模式是中国气象局自主研发的气候模式，代表了气象行业国家级数值模式业务应用。同时选择了IOzone^[27]，Stream^[28]和PMaC_HPC_Benchmarks^[29]基准评测程序，用来测试高性能计算系统的I/O性能、访存性能和通信性能^①。

① 国家气象信息中心.气候变化应对决策支撑工程高性能计算机系统采购——高性能计算机系统技术要求.2012.

表 1

表 1 测试程序清单 Table 1 The list of test programs 序号 测试程序 1 GRAPES-GLOBAL模式 (并行) 2 GRAPES-MESO模式 (并行) 3 GRAPES-4DVAR四维变分模式 (并行) 4 BCC_CSM气候系统模式 (并行) 5 BCC_AGCM大气模式 (并行) 6 GRAPES-SVD全球集合预报奇异向量分析系统 (串行) 7 WRF模式 (并行) 8 IOzone Benchmark 9 Stream Benchmark 10 PMaC_HPC_Benchmarks

表 1 测试程序清单 Table 1 The list of test programs

气象数值模式在高性能计算系统的实际运行效率是衡量该系统是否适合气象领域的关键指标。对高性能计算系统性能的评价在考虑系统性能属性和应用计算特征的同时，也要关注应用与系统之间的差异度和相似度。评测模型的作用是将高性能计算系统属性与气象数值模式应用计算特征相关联，建立两者之间的度量体系，为气象数值模式在高性能计算系统的计算性能评测提供依据。

中国气象局气象行业高性能计算系统性能评测模型主要包括测试题目和评测方法两部分。测试题目是对从测试程序集中挑选出的具有代表性的测试程序设置业务约束条件后形成的测试用例; 评测方法是指在某特定高性能计算环境实施测试用例，得到相应测试结果，依据评价标准，对测试结果进行优劣判定，以达到测试目的准则。

约束条件可以包括对程序运行参数的设定、输入数据的设定、运行方式的设定、运行目标的设定等等。随着业务需求的变更，高性能计算系统和气象数值模式的不断发展，评测模型也需要进行调整和优化。

评价标准是依据测试指标对各测试题目测试结果进行统计分析，判断测试结果是否达到要求，对同一测试不同测试结果优劣进行对比，给出评测结论。为了公平合理地对各测试结果进行评价，对系统性能评分采用量化记分方式，对应用性能测试结果依据定性和定量分析评价的机制设计制定评价标准。

首先，确定核心测试题目测试结果物理意义合理性检查标准，如典型气象要素场分布形势是否合理、与标准比对数据的相关系数、最大偏差及相对误差等量化指标。通过与标准测试结果进行定性和定量分析比对后，判断测试结果是否符合气象数值模式预报预测的物理意义^②。通过合理性检查后，对厂家测试整体情况进行分析判断，包括测试环境是否符合要求，测试方法是否正确，测试结果是否真实、完整、合理，应用测试优化程度、测试结果是否推测等。对系统特征评价标准的制定主要考虑系统理论/持续计算峰值性能、系统整体性能是否均衡、单核CPU峰值性能及缓存/内存配比是否合理、应用软件、系统软件是否满足需求等。对应用特征评价标准的制定主要考虑应用在各测试系统的持续计算性能、并行可扩展性与其对计算资源需求的映射关系，结合测试系统计算能力、I/O能力、高速计算网络数据交换能力计算出目标系统配置规模。

② 国家气象信息中心.气候变化应对决策支撑系统工程高性能计算机系统采购——测试结果合理性检查要求.2012.

此次测试对主要气象数值模式计算需求进行了深入分析，充分考虑了高性能计算系统性能属性，依据制定的评价标准，先后对此次投标的业界主流高性能计算系统各测试题目的测试结果进行了合理性检查、性能和功能的分析与对比。最终选择了可扩展性强，计算效率较高，系统拓扑结构与气象数值模式计算架构相符的大规模并行处理系统。该系统峰值计算性能达到1.759 PFLOPS，单节点计算能力达到908.8 GFLOPS，计算节点间通过InfiniBand高速计算网络连接，在对气象核心业务模式的测试中，相对于其他平台表现出更好的支持能力，能提供气象业务作业运行所需的作业管理调度功能，满足计算资源灵活调度和跨区域共享的应用需求^[30]。

测试基本达到了预期效果，但仍存在一些问题。主要表现为参加测试的程序主要是在中国气象局现有高性能计算系统开发，程序的健壮性和可移植性欠缺，在不同的计算环境下表现出运行不稳定的现象。同时，部分测试程序可扩展性仍有待提高，不能充分测试系统的并行性能。针对这些问题，在未来工作中将采用软件工程方式组织实施模式代码开发，遵循相应的技术规范，阶段性成果应在多种异构计算平台进行正确性和稳定性测试。同时，应着重从算法级和代码级对模式并行效率进行优化，提高其并行可扩展规模。

高性能计算系统气象应用适用性评测工作，不仅满足中国气象局气象数值模式近期发展需求，结合业务发展需要，充分考虑未来阶段时间内模式发展对高性能计算能力的需求，而且比以往注重硬件性能基础上突出了对并行程序开发及应用的支撑能力。同时，在对各厂家测试结果进行评测之前，实施了对计算结果合理性检查的重要工作，有效避免了厂家测试过程中为了追求计算性能的提高，对测试程序进行过度优化导致的模拟结果不合理问题，在保证模式模拟性能达到要求的基础上，对厂家高性能计算系统性能进行综合评价。通过量化打分的方式，给出了客观合理的评测结论，保障了PFLOPS级高性能计算系统采购工作的顺利完成。

目前，项目工作进入正式实施阶段，在系统安装完成后，将采用实际测量法对系统性能进行测试和评估。随着气象数值模式业务需求的不断提升，高性能计算环境的不断发展，在后期工作中，将进一步完善、优化测试程序集、测试题目和评测方法。并在此基础上，构建可扩展的适用于异构高性能计算系统的性能评测模型，为气象行业高性能计算系统选型、采购、性能优化和运维工作提供技术参考。