FourCastNet:自适应傅里叶神经算子的全球天气预报
新一、简介
FourCastNet 是 NVIDIA、NERSC 与普林斯顿等机构在 2022 年提出的全球数据驱动天气预报模型,缩写为 Fourier Forecasting Neural Network。预印本《FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators》于 2022 年 2 月 22 日发布在 arXiv(编号 2202.11214),共有 13 位作者,Jaideep Pathak 署名首位。
它产生的实际影响体现在两件事上。第一件事是精度位置:在短时效的大尺度变量上,FourCastNet 的表现与 ECMWF 的 IFS 业务数值天气预报系统相当;在具备复杂细尺度结构的变量上,尤其是降水,它优于 IFS。第二件事是速度:一周全球预报的生成时间不到 2 秒,比 IFS 快若干数量级。这两点合在一起,把「生成上千成员的概率集合」从一件昂贵的事变成常规操作。
速度带来的下游价值常被低估。论文指出,业务化数值天气预报的集合规模受限于算力成本,通常在 50 个成员左右;数据驱动模型可以低成本地产生千成员集合,从而在极端天气事件上给出更受约束的不确定性估计,并提升早期预警的可靠性。这对热带气旋、温带气旋与大气河等极端事件的预报尤其重要。
项目配套的开源仓库是 NVlabs/FourCastNet,创建于 2022 年 7 月 7 日,默认分支为 master,主语言 Python,仓库描述为「初始公开发布 FourCastNet 的代码、数据与模型权重」。截至 2026 年 11 月,仓库约有 705 个 star、158 个 fork、19 个未关闭 issue。仓库的活跃度在 2022 至 2023 年达到高点,此后主线基本停滞,这一点在使用与引用时需要留意。
需要提前澄清一处常见混淆。FourCastNet 与后来出现的 FuXi、Pangu-Weather、GraphCast、GenCast、NeuralGCM 属于同一技术脉络的不同分支,不是同一条演进线上的前后代。FourCastNet 的独特遗产在于确立了「算子学习 + 视觉 Transformer 骨架 + 千成员集合」这条路线,并为后来的球面算子路线提供了直接起点。
二、原理与工作方式
FourCastNet 的核心构件是自适应傅里叶神经算子(Adaptive Fourier Neural Operator,AFNO),它承担全局 token 混合的角色,骨架则借用视觉 Transformer(ViT)。这一组合的出处是 Guibas 等人 2021 年的 AFNO 论文与对应的官方实现仓库 NVlabs/AFNO-transformer。
AFNO 的原理是把 token 混合重新表述为一个与输入分辨率无关的连续全局卷积,并在傅里叶域中完成这一卷积,从而绕开自注意力随像素数二次增长的代价。与原始 FNO 相比,AFNO 额外处理了视觉表示学习中的不连续性与高分辨率输入难题。这也解释了 FourCastNet 为什么能直接在 0.25 度全球网格上运行,而不必像早期 FNO 那样工作在规则化的笛卡尔域。
数据流的具体形状如下。输入变量位于 720×1440 的经纬网格上,先被投影到 (h×w) 的 patch 网格,每个 patch 是一个 d 维 token,patch 尺寸 p 可取 8;随后 token 序列连同位置编码一起送入若干层 AFNO,最后由线性解码器重建下一帧的 patch。时间步长固定为 6 小时。
模型规模与训练超参数在论文表格中给出。AFNO 模块数 n_b 为 8,深度 12,MLP 比例 4,嵌入维度 768,激活函数 GELU,dropout 为 0,稀疏化阈值 λ 取 1×10⁻²,patch 尺寸 8×8,学习率 2.5×10⁻⁴ 并采用余弦调度。
训练分两步。先做预训练,监督学习 X(k) 到 X(k+1) 的映射;再做微调,从预训练模型出发进一步训练输出层。降水采用独立的两阶段做法:主模型预报 20 个变量,降水由一个次级诊断模型给出,输入的是 6 小时累积总降水量。推理阶段以自回归方式进行,模型在 2018 年的样本上初始化并自由推进。
预测变量共 20 个,覆盖五个垂直层。地面量包括 10 米风速的两个分量、2 米气温、地面气压、海平面气压;1000 hPa 与 850 hPa 层给出位势高度与相关风温湿度分量;500 hPa 层给出温度、风与相对湿度;50 hPa 层给出位势高度;此外有积分总水汽含量(TCWV)。相对湿度是论文中误差累积最快的变量族之一。
论文也给出了与 IFS 的量级对照。IFS 经过数十年发展,包含 150 个以上变量、50 个以上垂直层,并由物理规律约束;FourCastNet 建模 20 个变量、5 个垂直层,是纯数据驱动的。这个对照既是模型优势的说明,也划出了模型覆盖面的边界。
三、适用边界与前提
使用前有几条边界需要明确。
精度的时间范围有明确划分。在 RMSE 与 ACC 两项指标上,FourCastNet 的预测与 IFS 在最长三天的时效内可比;三日之后直到一周,所有建模变量的表现都略逊于 IFS。论文附录给出各变量族的经纬加权 ACC 分布,5 到 10 天区间内 ACC 一般保持在 0.6 以上,其中相对湿度族误差累积最快。
集合规模的数字需要区分口径。论文在飓风案例中使用的是 100 成员集合,方法描述中对初始条件施加高斯噪声生成 100 个扰动初值。论文正文同时论述了千成员集合带来的概率预报价值,但那是能力论证与展望,公开权重与官方脚本对应的常规配置仍是百成员量级。引用时把「100 成员」与「可扩展到 1000 成员」混作同一件事并不准确。
能耗数字也带条件。论文称训练 FourCastNet 所需能量约等于用 IFS 生成一次 50 成员、10 天预报的能耗,训练完成后单次预报能耗约为 IFS 的 12000 分之一;18 公里分辨率的数字是把 30 公里结果插值外推得到的估算,因为当时没有对应分辨率的公开数据,与实测数字需分开引用。节点级对比中,IFS 计算 100 成员 24 小时集合预报需要 3060 个节点,而 FourCastNet 在 30 公里实测下只需 1 个四卡 A100 节点,18 公里外推下为 2 个节点。
数据与算力的获取门槛是实际的约束。训练数据由 NERSC 托管,通过 Globus 共享,需要 Globus 账号并登录后才能下载;官方给出的说明称该版本训练所用完整数据约 5TB。数据以 hdf5 按年份组织,训练集为 1979 至 2015 年,测试集为 2016 与 2017 年,另有 2018 年作为样本外集合。归一化统计量单独提供,README 明确提示统计量与预训练权重必须配套使用,因为训练时用的就是这套统计量。
硬件与环境方面,训练脚本面向基于 Slurm 的 HPC 集群,官方给出的是 NERSC 的 Perlmutter 上的分布式数据并行启动脚本。
四、上手路径
推理往往是使用者的实际入口,路径相对清晰。
先准备三样东西。样本外初始条件文件,可以是官方托管的 out_of_sample/2018.h5,也可以是自己从哥白尼气候数据中心下载并预处理的 hdf5;模型权重,包含 backbone.ckpt 与 precip.ckpt 两个文件;以及归一化统计量 stats_v0,包含全局均值、全局标准差、海陆掩膜、纬度、经度与时间均值等文件。
随后在 config/AFNO.yaml 中设置路径。配置里需要填写地形路径开关 orography 与 orography_path、实验输出目录 exp_dir、训练/验证/推理数据路径 train_data_path、valid_data_path、inf_data_path,以及 time_means_path、global_means_path、global_stds_path 三处统计量路径。
推理命令有两类。主干变量用 inference/inference.py,降水用 inference/inference_precip.py,都通过 --config 指定配置节名、--weights 指定权重文件、--override_dir 指定输出目录。输出为 hdf5 文件,按配置包含计算得到的 ACC 与 RMSE,以及供可视化的原始场。
集合推理另有脚本。inference_ensemble.py 处理风场变量,inference_ensemble_precip.py 处理总降水,两者配合 submit_batch_ensemble.sh 把不同初值的集合成员并行提交到集群。
自定义时段预报的流程被 README 单独成节说明。先用 copernicus/ 下的 get_data_pl_short_length.py 与 get_data_sfc_short_length.py 下载气压层与单层变量,注意只下载连续日期并保留 0、6、12、18 时的快照;再 data_process/parallel_copy_small_set.py 预处理,该脚本支持 MPI 应对长时间段,短时段用单进程即可;最后按前述方式运行推理。
训练配置集中在 config/AFNO.yaml,另有 interactive_train.sh 与 submit_batch.sh 分别用于交互式训练与集群批处理提交,export_DDP_vars.sh 用于分布式数据并行时导出各进程的环境变量。仓库提供 docker/ 目录用于容器化环境,AUTHORS 文件记录贡献者。复现时建议固定依赖版本并保留权重与统计量的配套关系,因为官方权重绑定 stats_v0 里的均值与标准差,统计量一旦换算口径不同,推理输出的场量会出现系统性偏差。
五、横向对比
把 FourCastNet 放到同期与后续的数据驱动预报模型序列中,可以看清各自的位置。
与 Pangu-Weather 相比,Pangu 走的是 3D Earth-Specific Transformer 路线,把三维涡度-散度场编码到潜空间,参数规模与物理编码方式不同。两者在同期都报告了对 ECMWF 高分辨率预报的超越,但建模变量数与物理约束的处理方式差别明显。
与 FuXi 相比,FuXi 采用立方球面网格上的立方卷积与等轴注意力,在中期预报中报告了对 ECMWF 的更广泛超越。四者的差别可概括为:FourCastNet 走「傅里叶域全局混合」,Pangu 走「物理编码的三维 Transformer」,FuXi 走「立方球面卷积」,GraphCast 走「图网格上的 GNN」。
与 GraphCast 的对比值得单独说明。GraphCast 用多尺度旋转等变图网络在 0.25 度网格上建模,并报告在 1380 个检验目标中的 90% 上显著优于 ECMWF 业务确定性系统。它在精度与初值依赖处理上走的更远,而 FourCastNet 的比较对象是 IFS 在短时效的大尺度变量。两者的时间关系是 GraphCast 借鉴了 FourCastNet 的评测框架与算子学习视角,并未从其代码派生。
后续的球面路线由同一团队推进。Spherical Fourier Neural Operators 把傅里叶混合推广到球面网格,Huge Ensembles 系列(第一部分 16 位作者,第二部分 15 位作者)进一步把大集合预报系统化,用于研究热带气旋、极端降水与温度的尾部概率。
工程侧的延续是 FourCastNeXt。它是 FourCastNet 的优化版本,保持相近精度而把训练算力需求降到原版约 5%,目标是让神经地球系统建模的消融实验可负担,对应论文 arXiv 2401.05584。
六、基准与数据
精度评估的框架是论文中定义得最清楚的部分。核心指标为 RMSE 与异常相关系数 ACC,按初值与预报时效分别统计,同时对控制预报与集合平均预报分别计算,以对比集合预报带来的额外技巧。集合预报的评估进一步比较了 FourCastNet 集合平均、未扰动控制预报与 IFS 未扰动控制预报三条曲线。
变量族的 ACC 结果给出了更细的图像。地面风速、位势高度、温度等变量的表现差异明显,相对湿度族误差累积最快。这是使用时的实用提示:若关注湿度相关量级,需要为更短的时效留出余量。
极端事件的案例分析给出具体证据。台风案例中,模型在约 10°N、210°W 附近起报,四天内捕捉到台风的增强与路径。案例期间大西洋上出现了三个命名飓风,即 Florence、Issac 与 Helene,并接近北美东海岸。飓风眼位置用海平面气压估计,眼压取眼内最低气压。
算力与能效的对比由 PASC 会议论文补充。那篇论文报告 FourCastNet 在三套超算系统上优化并有效扩展,即 Selene、Perlmutter 与 JUWELS Booster,最大用到 3808 张 NVIDIA A100,混合精度下达到 140.8 petaFLOPS,在该规模上约为峰值的 11.9%。在 JUWELS Booster 上用 3072 张 GPU 测得的训练到解时间为 67.4 分钟,相对业务化数值天气预报在推理环节快约 80000 倍。论文同时指出,由于缺少 18 公里分辨率的公开数据,相关数字是把 30 公里插值外推得到的估算。
训练资源方面,端到端训练在 64 张 NVIDIA A100 的集群上约需 16 小时挂钟时间。
数据底座是 ERA5。该数据集提供逐小时的多大气变量估计,0.25 度经纬分辨率,从地表延伸到约 100 公里高度,覆盖 1979 年至今。模型从中选取 20 个变量子集并按 6 小时间隔子采样,每个自然日在 0000、0600、1200 与 1800 时取样。归一化处理上,温度与位势高度等变量做了特定的量纲变换,降水先转为累积量再做分布变换,使分布偏斜减小;与 IFS 或 ERA5 真值比较时,降水会变换回长度单位。
权重获取方面,官方同时提供 Globus 与 NERSC 项目门户两条下载路径,2023 年 1 月的提交为模型权重补充了门户下载链接。
七、物理 AI 场景中的用法
FourCastNet 的价值可以从三个层面进入实际工作流。
第一层是作为快速代理。把一次一周预报压缩到秒级,意味着可以在设计空间中做大规模扫描。例如风电资源规划,近地面风速预报的可靠性与经济性直接支撑陆上与海上风场的选址评估;又如在给定候选方案集合上批量生成初值扰动,用统计量取代单条轨迹做决策依据。
第二层是集合预报带来的不确定性表达。100 成员集合以海平面气压估计气旋路径与强度后,可以给出路径与强度的概率分布,这是单条确定性预报无法提供的。对预警系统而言,分布的可靠性比单点精度更直接地决定可用性。
第三层是把物理约束留在流程内。这类模型与物理信息神经网络(PINN)思路不同,它不把守恒律写进损失函数,而是直接从再分析数据中学习映射,再依靠数据同化提供初值。它与物理基础模型这类更宽的框架、以及代理模型与降阶模型的讨论处于同一问题域,但在气象领域由 GraphCast、Pangu-Weather、NeuralGCM、GenCast 等各自独立发展出的路线构成。
一个务实的组合方式是把这类快速模型用于筛选与初值生成,把第一性原理或高精度数值模式用于确认。二者结合时,模型的速度让确认环节的候选数量变得可控。
研究用途还包括数据集构建与再分析。Huge Ensbles 系列即以 SFNO 生成的大规模集合回报数据(hindcast)作为研究极端事件统计性质的基础,2025 年的工作进一步量化了机器学习集合给出的极端降水与极端温度分布。
八、不适用场景与失效模式
四类使用方式会得到不可靠结果。
超过三天的时效需要谨慎对待。论文自身指出,在三日之后到一周的区间,模型的技巧不及 IFS。把 FourCastNet 的输出用于十天以上的趋势判断,或用于与业务化模式精度相当的断言,都超出其验证范围。
湿度相关量的时效需要单独设定。由于相对湿度族是误差累积最快的变量族,依赖湿度的产品应按更短时效设计。
变量覆盖是硬边界。模型只建模 20 个变量、5 个垂直层,不含云、辐射、土壤温湿度、边界层结构等业务模式必备的其它场。IFS 包含 150 个以上变量、50 个以上垂直层。需要完整模式输出的用途,这套模型提供不了。降水由次级诊断模型给出,与主干变量并非同一模型的一致输出,跨变量的联合一致性需要额外检验。
集合规模的口径差异会造成误判。把论文的能力论证中的千成员与官方脚本的百成员配置混用,会高估实际可得的集合规模。同理,18 公里分辨率的算力与能耗数字是插值外推估算,与 30 公里实测数字的性质不同。
工程侧的失效点同样具体。归一化统计量与权重必须配套,换用自算统计量会直接破坏模型输出。数据接口对变量顺序、时间戳与文件组织有明确要求,顺序错乱不会报错但结果失真。权重下载依赖 Globus 登录,在受限网络环境下是一道实际障碍。仓库主线自 2022 年 8 月初始发布、2023 年 1 月补充权重下载链接后基本没有新提交,issue 的响应预期应据此调整。
集合预报方法本身也有已知局限。论文中的集合通过给初始条件加高斯噪声生成,这种扰动方式对初值不确定性的刻画是粗略的,与业务系统考虑多源观测误差的做法差距明显。
九、版本与口径核对
几处版本与口径需要固定下来,避免在引用时串用。
仓库的许可字段存在不一致。GitHub API 返回的许可为 NOASSERTION,而仓库根目录的 LICENSE 文件是完整的 BSD 3-Clause 文本,版权标注为「Copyright (c) 2022, FourCastNet authors」。引用时应以 LICENSE 文件为准,API 字段不构成许可结论。
代码状态方面,仓库只有一个 tag 与 release,均为 v0.0.0,发布于 2022 年 8 月 6 日。分支有两条,master 与 feature-gfs-initialization,后者用于全球预报系统初始化的探索。主线提交历史仅三条,最新一条为 2023 年 1 月 13 日,补充了模型权重的门户下载链接。仓库的推送时间戳停留在 2023 年 10 月,此后未再更新。这一状态在 2026 年是评估可用性时必须考虑的事实。
论文有预印本与会议论文两个版本。主论文是 arXiv 2202.11214,13 位作者,Pathak 首位,2022 年 2 月 22 日发布。超算与能效相关的工作在 PASC 2023 会议上发表,会议论文题为《FourCastNet: Accelerating Global High-Resolution Weather Forecasting Using Adaptive Fourier Neural Operators》,9 位作者,Kurth 署名首位,2023 年 6 月 26 日出版,DOI 为 10.1145/3592979.3593412,其预印本编号为 arXiv 2208.05419。
数据版本以 v0 为唯一一套。README 的版本表只有一行,即初始发布 v0.0.0,对应 FCN_ERA5_data_v0 与 FCN_weights_v0 以及 stats_v0。不存在其它版本的数据或权重发布。
数字口径需要分清的至少五处:推理耗时「一周预报不到 2 秒」与 PASC 论文的「推理快约 80000 倍」;集合规模「案例使用 100 成员」与「可扩展至千成员」;能耗「训练能耗约等于 IFS 一次 50 成员 10 天预报」与「推理能耗约为 IFS 的 12000 分之一」;分辨率「30 公里实测」与「18 公里外推估算」;超算「3072 GPU 上 67.4 分钟训练到解」与「3808 张 A100 上 140.8 petaFLOPS、峰值占比 11.9%」。这些数字来自不同论文、不同口径,混用会造成数量级误解。
下游代码仓库的许可同样需要逐个确认。NVlabs/AFNO-transformer 是 AFNO 的官方 PyTorch 实现,GitHub API 同样报 NOASSERTION,最后推送于 2022 年 11 月。nci/FourCastNeXt 声明 Apache-2.0,最后推送于 2025 年 3 月。
十、参考资料
- Pathak J., Subramanian S., Harrington P., 等. FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators. arXiv:2202.11214, 2022. https://arxiv.org/abs/2202.11214
- Kurth T., Subramanian S., Harrington P., 等. FourCastNet: Accelerating Global High-Resolution Weather Forecasting Using Adaptive Fourier Neural Operators. Proceedings of the Platform for Advanced Scientific Computing Conference, 2023. https://doi.org/10.1145/3592979.3593412
- Kurth T., Subramanian S., Harrington P., 等. FourCastNet: Accelerating Global High-Resolution Weather Forecasting using Adaptive Fourier Neural Operators(预印本). arXiv:2208.05419, 2022. https://arxiv.org/abs/2208.05419
- NVIDIA 与 NERSC. NVlabs/FourCastNet 源码仓库(代码、权重与数据获取说明). https://github.com/NVlabs/FourCastNet
- Guibas J., Mardani M., Li Z., 等. Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers. arXiv:2111.13587, 2021. https://arxiv.org/abs/2111.13587
- NVlabs. AFNO-transformer 官方 PyTorch 实现. https://github.com/NVlabs/AFNO-transformer
- Pathak J., Kurth T., Bonev B., 等. Spherical Fourier Neural Operators: Learning Stable Dynamics on the Sphere. arXiv:2306.03838, 2023. https://arxiv.org/abs/2306.03838
- Pathak J., Kurth T., Xu R., 等. Huge Ensembles Part I: Design of Ensemble Weather Forecasts using Spherical Fourier Neural Operators. arXiv:2408.03100, 2024. https://arxiv.org/abs/2408.03100
- Pathak J., Kurth T., Xu R., 等. Huge Ensembles Part II: Properties of a Huge Ensemble of Hindcasts Generated with Spherical Fourier Neural Operators. arXiv:2408.01581, 2024. https://arxiv.org/abs/2408.01581
- Guo E., Ahmed M., Sun Y., 等. FourCastNeXt: Optimizing FourCastNet Training for Limited Compute. arXiv:2401.05584, 2024. https://arxiv.org/abs/2401.05584
- Hersbach H., Bell B., Berrisford P., 等. ERA5 hourly data on pressure levels from 1959 to present. Copernicus Climate Change Service (C3S) Climate Data Store, 10.24381/cds.bd0915c6. https://doi.org/10.24381/cds.bd0915c6
- Hersbach H., Bell B., Berrisford P., 等. ERA5 hourly data on single levels from 1959 to present. Copernicus Climate Change Service (C3S) Climate Data Store, 10.24381/cds.adbb2d47. https://doi.org/10.24381/cds.adbb2d47
- Lam R., Sanchez-Gonzalez A., Willson J., 等. GraphCast: Learning skillful medium-range global weather forecasting. Science, 382(6677), 2023. https://doi.org/10.1126/science.adi2336
- Bi K., Chen Y., Wang F., 等. Accurate medium-range global weather forecasting with 3D neural networks. Nature, 619, 533-538, 2023. https://doi.org/10.1038/s41586-023-06185-3
- Chen L., Zhong X., Zhang F., 等. FuXi: a cascade machine learning forecasting system for 15-day global weather forecast. npj Computational Materials, 9, 2023. https://doi.org/10.1038/s41612-023-00512-1
- Chen L., Zhong X., Zhang F., 等. FuXi 预印本. arXiv:2306.12873, 2023. https://arxiv.org/abs/2306.12873
- Zhang C., Yao Z., Yang H., 等. Pangu-Weather: A Global Data-driven High-resolution Weather Model. arXiv:2211.02556, 2022. https://arxiv.org/abs/2211.02556
- Kochkov A., Yuval J., Langmore I., 等. Neural general circulation models for weather and climate. Nature, 632, 1060-1066, 2024. https://doi.org/10.1038/s41586-024-07744-y
- Price I., Sanchez-Gonzalez A., Alet L., 等. GenCast: Probabilistic weather forecasting with machine learning. Nature, 637(8044), 84-90, 2024. https://doi.org/10.1038/s41586-024-08252-9
- Zhang Y., Pathak J., Wellbrock O., 等. Skilful nowcasting of extreme events with the neural operator. Nature, 619, 526-532, 2023. https://doi.org/10.1038/s41586-023-06184-4
- nci. FourCastNeXt 训练与推理代码. https://github.com/nci/FourCastNeXt
- NERSC. FourCastNet 预训练模型权重门户(FCN_weights_v0). https://portal.nersc.gov/project/m4134/FCN_weights_v0/