高性能计算指通过并行计算的方式解决应用对超级计算性能的需求，是信息技术发展较快的方向之一。气象应用一直是高性能计算的重要领域。气象高性能计算应用从规模和范围看，始终是高性能计算的重点领域^[1-2]。气象业务对高性能计算能力的需求在一定程度上促进了高性能计算技术的发展。随着气象数值预报业务与科研工作的快速发展，气象高性能计算的需求激增。各国气象部门, 尤其是发达国家气象部门均独立建立了适合自己气象业务应用的高性能计算机系统。从20世纪90年代至今，中国气象部门的高性能计算能力有了长足的进步，已成为气象现代化水平的重要标志之一，同时应用水平也不断提高，为提高气象业务信息化能力做出了重要贡献。从发展趋势看，两者结合将日趋紧密，相得益彰。

高性能计算 (high performance computing, HPC) 主要是指计算量大并且快速高效的运算 (http://wenku.baidu.com/view/bfa91636f111f18583d05a14.html#)。通常也将高性能计算机称为超级计算机。高性能计算已成为计算机科学技术学科的一个重要分支，是指从体系结构、并行算法及软件开发等方面研究开发高性能计算机的技术，高性能计算与理论科学和实验科学构成了科学研究的三大支柱。高性能计算技术是国家发展的战略性制高点技术，其发展水平成为衡量一个国家综合国力的重要指标^[3]。高性能计算在国家科技、国防、产业、金融、服务、生活等方面都占有不可或缺的重要地位。高性能计算已不限于并行计算，与网格计算、分布式计算、网络计算、云计算和大数据等技术密切联系日益融合^[4-12]。

依据Flynn分类法 (http://en.wikipedia.org/wiki/Flynn’s_taxonomy#)，现代高性能计算机系统大都属于多指令流多数据流 (MIMD) 类型的计算机。

集群系统 (cluster) 是一组相互独立的计算机，通过高速通信网络按某种结构连接起来，组成一个单一的计算机系统，实现统一管理调度与高效并行处理。集群系统最大特点是提供高可靠性、可扩充性和抗灾难性^[13]。

目前衡量高性能计算机系统的关键性能指标主要包括系统体系架构、机器规模、处理器芯片、峰值速度、实测速度、运行效率、内部互联技术、操作系统、作业管理软件、每瓦特性能等^[14]。

各厂商生产的通用部件高性能计算机系统硬件组成部件基本相同，体系结构主要有cluster与大规模并行处理器 (MPP)，处理器包括X86和RISC两大类，内部互联网络有InfiniBand, Intel Omini-Path、以太网、专有网络等^[15-17]。主流操作系统包括Linux及UNIX系统，编译器采用Intel/GNU/PGI编译器，采用MVAPICH/OpenMPI等并行环境，作业管理软件采用商用软件 (LSF, PBSpro, LoadLeveler等) 或开源软件 (Slurm, OpenPBS, Torque等) 定制开发。

全球超级计算机TOP500排行榜 (http://www.top500.org) 是由国际学术界组织对全球高性能计算机系统进行定期评测，每半年评测发布1次，已成为业界公认的衡量高性能计算水平的事实标准，是了解高性能计算机发展现状和趋势的风向标^{[14, 18]}。

2016年6月全球超级计算机TOP500统计数据显示，全面进入千万亿次 (PFLOPS) 时代，体系结构以cluster结构为主，内部节点互联网络以InfiniBand技术为主，Intel处理器芯片占据较大优势，Linux操作系统占统治地位。高性能计算进入千万亿次 (PFLOPS) 时代后，主要厂商已开始探索性能更强的ExaFLOPS (百亿亿次) 级的超级计算机，预计将会在2018年左右出现^[19]。

虽然高性能计算机的性能有了很大提升，但面临的计算密集、数据密集型应用需求也日益明显。高性能计算系统面临着低成本、低能耗、并行程序支持的可用性以及对现有代码的有效沿用等挑战。

在过去的几十年，计算机处理器速度的提升一直遵循着摩尔定律。应用程序会随着处理器频率的提高而获得更好的性能。然而，更高的主频导致能耗增加，产生散热、漏电等单CPU芯片物理瓶颈。为此，处理器性能的提高将不再单纯依赖于时钟频率的提高，而是要发挥多核、众核的并行性^[20-28]。高性能计算机系统峰值从Terascale发展到Petascale级甚至更高，意味着系统内的组件 (内核、存储、互联等) 数量也在迅速增加。目前规模最大的是神威·太湖之光 (Sunway TaihuLight) 超级计算机系统，共计使用了1064万个处理器核。

GPU (graphic processing unit) 和MIC (Intel many integrated core) 是两大主流异构编程技术。GPU自问世以来一直是作为CPU附属加速器使用。但随着技术不断发展创新，GPU相比CPU有数量更多的执行单元，使GPU在浮点处理能力上具有优势。此外，GPU速度快、能耗低，演变成高性能计算机数据并行的组成部分。GPU/CPU混合架构系统的性能/功耗比一般高于传统的同构系统^[29-34]。MIC众核架构与通用的多核处理器相比，在处理复杂的并行应用具有优势。MIC架构在单个CPU芯片中融合了众多核心，可作为独立的运算单元或通用CPU的协处理器而存在，支持使用标准的C，C++和FROTRAN语言另加一些扩展制导语句进行编程 (http://toutiao.com/i6224293-816581489153)。MIC众核架构，在并行运算、编程可控和兼容性等方面更具优势。同GPU编程相比，除了支持混合编程下offload模式外，MIC编程模式更多^[35-38]。

气象数值预报是指利用数值方法，在一定的初值条件下求解一组表征大气运动状态的数学物理方程组，计算大气的量或场 (如温度、风向和风速及湿度等) 将如何改变，从而由目前的天气状态推衍出未来一段时间内的天气状况^[39]。一方面，数值预报需要对大量的观测数据进行质量检查和同化分析才能获得初值条件，处理过程计算量很大；另一方面，数值求解上百万个自由度的控制偏微分方程组本身也需要大量的计算。无论用于短期的数值天气预报系统还是用于长期的数值气候预测系统，均离不开强大计算和存储能力支撑。另外，数值天气预报业务时效性要求很高，必须在一定时间内完成，大量的计算对于人工及普通计算机是一项无法完成的工作。高性能计算技术有效解决了气象数值预报业务和研发的发展限制。高性能计算技术建立在具有众多处理器、高性能的内部互联网络的高性能计算机平台上，具有可并行执行任务的特点，能够缩短问题求解时间或扩大求解问题规模，适用于气象数值预报业务和研发。高性能计算技术的进步在数值天气预报的应用发展上占有极其关键的地位，几乎在任一时期，数值天气预报系统都使用了当时最快速的高性能计算机，数值天气预报系统也唯有使用最快速的高性能计算机才能展现其突出的预报应用价值^[40]。随着气象数值预报模式向着更高分辨率、更复杂物理过程、集合预报、多模式耦合的方向发展，对计算能力的要求也越来越高^[41]。

气象数值预报业务和研发依托于高性能计算机，不同的高性能计算技术对气象应用的影响体现在处理器架构、操作系统类别、编译器及并行环境、科学计算函数库等方面。这些差异使数值预报业务需要适应性调整移植，研发需要熟悉适应新的编程运行环境^[42-43]。处理器架构不同，数据在计算机内存中表示的字节序相反，直接表现为数据值差异，导致数值预报模式直接移植后计算结果错误。操作系统类别不同，工具命令或命令参数及系统库存在差异，导致数值预报模式部分代码需要做适应性调整。Linux系统对于气象领域中常用的开源软件及专业库GrADS，NCL，NetCDF等支持更好。Linux系统一般采用Intel/GNU/PGI编译器，一般对程序检查较严格；而另一些UNIX系统一般使用厂商自研的编译器。因此，运行在UNIX系统上的模式需要修改源代码才能在Linux环境下编译通过。一些UNIX系统采用自研并行环境；而国内厂商一般采用MPICH2，MVAPICH，OpenMPI等并行环境。各自在调优设置上有很多的不同，具体表现为运行性能上存在差异。科学计算库不同，程序链接变化，实现相同功能的函数不同，数值预报模式移植需要调整。

① 能力建设。为支撑数值预报模式的快速发展，国外气象部门的高性能计算机系统更新速度较快，高性能计算能力已达每秒千万亿次 (PFLOPS)，计算节点间互联网络采用InfiniBand网络或专有网络。主要计算能力为纯CPU、少量GPU或MIC众核。由于GPU/众核的编程模式与CPU完全不同，需要使用其特定的编程语言，模式移植优化难度高，工作量大。因此，目前美、欧、中、英、法、日、韩等气象部门高性能计算机仍然是由通用CPU构建的系统，少数开始建设小规模GPU/众核系统，探索移植改造气象业务模式系统，期待提高模式并行能力和运行时效。NCEP计划2019年在高性能计算中部分节点使用加速技术来探索优化数值模拟能力；NCAR在可视化服务方面使用少量的GPU系统；ECMWF计划在2016年安装1个32个众核节点系统，用于支持可扩展性计算。

截至2016年6月，全球TOP500系统中共有22套系统用于天气和气候应用领域，其中，12套采用了cluster结构，10套采用MPP结构。欧洲中期天气预报中心 (ECMWF)、美国国家海洋和大气管理局 (NOAA)、美国国家大气研究中心 (NCAR)、英国气象局、法国气象局、韩国气象局均集中在2012—2015年采购了新的高性能计算系统，建设系统规模均为PFLOPS级以上，系统均采用CPU架构。其中，英国气象局新建系统峰值能力超过16PFLOPS，部署在气象局总部机房和同城的科学园区^[14]。

② 模式发展。气象领域对高性能计算需求主体是数值预报模式系统的科学研究和业务运行。世界各国数值预报业务系统也在有计划地快速发展，未来3~5年，世界各国主要的全球数值模式水平分辨率都会提高到10~20 km，达到全球中尺度模式的水平。目前，欧洲中期天气预报中心的业务模式T_co1279L137，水平分辨率已达到9 km，其模式发展每8年水平分辨率提高一倍，模式发展路线和规划见表 1；美国国家大气海洋局NOAA业务模式T1534L64，水平分辨率为13 km，其下一代全球预报系统 (NGGPS) 发展目标是满足未来15~20年需求，建立全球高分辨率天气预报系统 (水平分辨率3~10 km)，预测高影响天气如飓风、强风暴 (0.5~2 km嵌套)，扩展预报时效至30 d，甚至是季节预测尺度，建立海洋-大气-海冰-海浪耦合模式系统，完善集合预报及资料同化系统气溶胶预测等，新一代非静力学动力过程计算预估需要100000数量级CPU核；英国气象局全球模式UM2015年达到水平分辨率为N768(17 km)，计划在2017年达到N1024(12 km) 的分辨率；日本气象厅全球数值预报模式T959L100，水平分辨率已经达到20 km，计划升级到新版T1479L100。

表 1

表 1 ECMWF IFS模式发展计划 Table 1 Development plan of ECMWF IFS model IFS分辨率 预期业务化时间 格点间距/km 积分步长/s 估算CPU核数 T2047H 2014—2015年 10 450 6000 T3999NH 2023—2024年 5 249 80000 T7999NH 2031—2032年 2.5 30~120 1~4000000   注：H表示静力平衡，NH表示非静力平衡；估算CPU核数以IBM POWER7芯片为基准，1 h内完成10 d预报需要的CPU核数。

表 1 ECMWF IFS模式发展计划 Table 1 Development plan of ECMWF IFS model

③ 资源管理。国外气象部门高性能计算系统一般采用两套架构完全相同的系统以提高系统稳定运行和承担业务模式的备份。一套系统以业务为主，另一套系统以科研为主，并作为业务备份。部分国家单独建立科研应用系统。高性能计算资源管理一般采用资源预分配方式，即根据用户需求申请预先分配资源，并建立相应的运行环境和所需的数据环境，实现计算任务的调度管理。

ECMWF为业务运行、研发分配一定比例的计算资源，其中，25%用于业务，50%用于研发，另外25%供成员国用户使用。ECMWF主要由科学咨询委员会 (Scientific Advisory Committee，SAC) 和技术咨询委员会 (Technical Advisory Committee，TAC) 负责对高性能资源申请进行评估。SAC审查每个申请的研究方面的内容，对申请进行优先级排序；TAC在SAC评估结果基础上，给出对申请项目的计算时间和资源的分配建议。

① 能力建设。高性能计算机系统是气象信息系统的核心组成部分之一，计算能力已成为气象现代化建设水平的重要标志。1978年11月中国气象局引进了1台每秒百万次运算能力、内存4 MB、磁盘2.1 GB的日立M-170计算机，在当时属于国内综合性能最强的计算机系统，主要用于气象数据处理和运行MOS数值预报模式，从此结束了我国没有数值预报业务的历史。1980年7月A模式 (欧亚区域模式) 投入业务运行，1983年8月B模式 (亚洲区域模式) 投入业务运行，从此我国数值天气预报全面进入实用化阶段^[44]。

20世纪90年代中期以来，高性能计算机能力明显增强。国家级气象业务中心先后引进了银河Ⅱ，CRAY J90，CRAY EL98，CRAY C92，IBM SP2，IBM SP，曙光1000A，银河Ⅲ，神威Ⅰ，神威新世纪-32I，神威新世纪-32P，IBM Cluster 1600，SGI Altix4700，神威4000A，IBM Flex P460等高性能计算机系统，很好地支撑了数值预报业务运行、研究开发以及卫星数据处理业务等工作^[45]。

20世纪90年代初至今，国家级气象计算能力基本上每5年增长1个数量级^[46]。2014年超过千万亿次的IBM Flex P460系统投入业务运行后，计算能力比1978年提高了10亿倍，比“十一五”期间提高了近30倍。

从发展历程来看，2000年之前进口高性能计算机系统占主导地位，2000年之后国产与进口高性能计算机并驾齐驱。

从机型上看，最初阶段主要采用通用巨型计算机，从20世纪90年代中期起至今转向大规模并行架构计算机。

国家级气象部门目前业务运行的主力高性能计算机系统为IBM Flex P460。该系统主要由P460服务器组成，每台服务器配置4个8核3.55 GHz Power7处理器芯片。系统总计算能力达1054.2 TF-LOPS，存储物理容量超过4.2 PB，全系统共计37120个CPU核，内存总量163584 GB。IBM Flex P460高性能计算机系统整体上可分为两个子系统，每个子系统计算能力527.1 TFLOPS，存储物理容量2109.38 TB。其中计算集群包括4个登录节点，15个前后处理节点，481个普通计算节点 (128 GB内存)，58个大内存计算节点 (256 GB内存) 以及2个服务节点；存储集群部分主要由40个P740 IO节点和40个DSC3700组成，共计2400块900 GB硬盘。系统安装在国家气象信息中心高性能计算机房。作为国家级主要的计算业务研发平台，IBM Flex P460高性能计算机系统承担了数值天气预报业务、短期气候预测业务、数值预报准业务及研发等工作。

IBM Flex P460每个子系统内部采用无阻塞胖树结构的InfiniBand网络互连，构成系统内部高速数据网络，每个计算节点配置4个InfiniBand端口，通过2个边缘交换机分别连接到2个核心交换机，单个节点对外通讯的聚合带宽最大可达双向160 Gb/s+160 Gb/s，充分保证系统的可靠性和可用性以及足够的节点通信带宽。

IBM Flex P460高性能计算机系统采用冷却水制冷方式，所有机柜均安装水冷背门，绝大部热能通过冷却水带走，相对于空冷方式，可提升系统整体制冷效率，节约能源。

随着区域中心数值预报业务研究不断发展，2000年以来，部分区域和省级气象部门根据自身发展需要，先后建设了不同规模的高性能计算机系统^[47-51]。东北、华东、华中、华南、西南、西北、新疆区域气象中心在2014年先后安装了IBM Flex P460高性能计算机系统，大大提升了区域中心的高性能计算能力。

② 模式发展。中国气象局的全球天气模式目前主要以T639L60模式和0.25° GRAPES模式^[52-54]为主，其中T639L60模式水平分辨率为30 km，GRAPES全球模式水平分辨率为25 km，垂直60层，计划在2020年GRAPES全球模式升级到水平分辨率为10 km，垂直层次数加密至90。

③ 资源管理。高性能计算资源对于气象领域始终是稀缺资源，由于国家级与地方之间，以及地方与地方之间数值预报业务发展的不平衡，导致目前这一稀缺资源在部门内分布 (包括地理分布) 的不均衡。因此，将分布在国家局及各区域中心的高性能计算资源共享使用，实现统一管理、监控和资源共享，将解决国家级、地方气象部门的资源整合、共享与协同管理等问题^{[4, 55-58]}。

不同区域高性能计算机系统互联网络带宽、数值预报模式输入数据环境、数值预报模式输出产品方式和数据量、气象业务系统使用数值预报模式产品的方式共同决定了异地高性能计算资源的共享调度策略。根据现有气象高性能计算资源的网络互联条件以及模式应用数据环境的现状，中国气象局现有高性能计算资源管理以本地化使用优先为原则，采用资源预分配策略进行。针对国家级及区域中心的各个高性能计算机系统，采用基于预分配的统一资源应用方案，建立精细的资源统计、分配和审计机制，提供相应的资源预分配和规范手段对高性能计算资源进行统一的管理。结合每年各单位及用户的需求和上一年的使用情况，确定相应的年度资源分配额，对各系统的资源进行统一调配，合理规划国家级及各区域中心高性能计算资源的使用。在中国气象局建立气象高性能计算统一监控平台，实现国家级和区域级高性能计算机系统运行状态和资源使用的统一实时监控，实现国家级、区域级数值预报业务系统的统一实时监控^[59-65]。

根据数值预报业务模式和科研模式运行作业不同特点，采取不同应用方式。根据各系统计算资源负载现状，优先使用本地资源。

协调规划国家级及区域级模式运行，在国家级建立数值模式统一运行平台，实现对数值预报业务统一调度和运行维护管理。由于业务模式应用相对比较成熟，输入、输出数据流程固定，因此，数值预报业务将主要在本地高性能计算机运行。区域中心本地系统无法满足的区域数值预报业务模式通过资源预分配管理调配至国家级高性能计算机系统运行。业务备份采用冷备份的方式进行，在重大气象服务或重大气象灾害应急等特殊时期，申请使用热备份的方式同时运行某一业务模式，保障业务的可靠运行。为保障备份模式在静止的情况下其数据与原主业务系统的数据始终保持同步，通过云服务获取同步数值预报模式启动所需的初始场等数据，并在备份系统启用后接收在异地运行的模式产品，实现数据同步流程。

由于研发模式应用多样性、不确定性的特点，依据本地优先、异地调配的原则使用资源。采用直接登录高性能计算机方式使用系统资源，限于目前的网络性能和其他客观条件，对于远程用户不通过网络传输大数据，可直接在异地系统完成模式运行及后处理，在需要时将图形回显到本地，对必需的大数据或可采用移动硬盘拷贝方式。支持科研应用异地提交，开发GRAPES和BCC_CSM核心研发模式的模式试验系统，提供基于命令行登录和Web Portal的两种资源访问方式，用户可通过浏览器方式实现可视化的模式试验配置运行控制和跨集群作业提交^[66-74]。

考虑到多个区域中心都在进行GRAPES区域模式或WRF^[75]区域模式的运行，同类模式彼此之间存在较大的重叠区域，协调规划各区域模式运行，考虑减少运行单位，或可行性上考虑缩小边界与减小重叠区域。

随着多核/众核架构处理器、超大规模并行处理、GPU计算、大数据、云计算等新技术的出现，业界正处于计算技术发展的转折点，科学计算将经历技术和思维两方面的变革。新兴技术正在或已对现有高性能计算技术产生不可忽视的影响和促进，未来的发展趋势必定是多方面的融合，这将对气象部门的高性能计算应用与数值预报模式研发产生深远影响，极大推动包括高性能计算业务在内的气象信息化建设^[5]。数值预报技术研发需要加大众核、GPU计算等新技术应用力度，以便最大化利用好未来混合型体系架构的高性能计算平台。

统筹集约地做好气象部门内高性能计算资源的布局、建设与管理。为提高资源使用效率，高性能计算机布局应放眼全国进行考虑，逐渐减少地理多点分散的小规模系统，逐步形成全国集约化的格局。为了满足数值天气与气候预报模式业务运行和科研工作发展需要，中国气象局将建设新一代国家级高性能计算机系统，缓解计算资源紧张局面，支撑数值天气预报、气候预测与气候变化等业务研究工作。制订完善并施行配套的高性能计算资源分配、资源评估、资源变更等管理规范。建立全国计算资源综合管理平台，制定推行计算资源整合准入方案，开发气象计算资源综合管理软件，建立基于用户行为的资源管理模式。吸收先进软件技术，实现计算资源的统一管理、分配调度与互备支撑。促进资源集约使用，提高利用效率和精细化管理水平。高性能计算资源管理未来会从目前本地预分配为主的方式，逐步过渡到本地异地统一调度、共享使用的方式。基于国家级、区域中心统一的CIMISS数据环境，实现数值预报业务应用和GRAPES模式研发等有限应用的跨系统的动态统一调度，实现业务应用异地备份和可靠运行。

未来的国家级异地业务应急备份中心，将提供高性能计算系统和存储系统备份能力，支撑国家级数值天气预报业务系统的异地运行。