ClimateLearn:气候数据与机器学习的基准 Python 库
新一、简介
ClimateLearn 是一个面向数据驱动天气与气候建模的开源 PyTorch 库,由加州大学洛杉矶分校机器智能组开发维护,随论文于 2023 年 7 月发布,采用 MIT 许可。它自述的目标是标准化数据集、模型实现与评估协议,理由是在作者看来,该领域的研究者一直在使用不一致或未充分说明的数据、训练设置与评估方式。
这个理由正是它以包的形式存在、并非以若干脚本存在的原因。WeatherBench、ClimateBench 与 FloodNet 各自为特定任务提出数据集与基线,但此前没有哪一件工具能同时覆盖多个任务的数据处理、模型实现与评估全流程。ClimateLearn 的贡献在于覆盖面与一致性,理解这一点有助于判断是否采用它:价值来自流程被标准化,并非其中某个模型处于前沿水平。
这篇指南写给需要开展气候机器学习实验、并希望结果可与已发表工作对比的工程师与研究者。它说明这个库实际包含什么、它的基准数字意味着什么以及出处何在,也说明库替使用者做掉的决定,例如归一化方案、纬度加权与划分边界。
默认读者已熟悉 PyTorch 与格点地球物理数据。不要求事先了解气候建模文献,但任务一节会解释库所围绕的三类任务,因为任务定义决定了应当采用哪套数据、划分与指标组合。
二、原理与工作方式
该库围绕三类任务组织。天气预报依据当前状态以及可选的前序状态,预测 t 加 delta t 时刻的场量,张量形状为通道乘高乘宽。降尺度把粗网格映射到细网格,在纠正气候模式偏差的同时提升分辨率,因此输出网格大于输入。气候投影则预测长期分布,例如给定二氧化碳或甲烷强迫水平下的地表温度年均分布。
数据访问是分层的。ERA5 既可从 WeatherBench 取预处理的精简版本,也可凭 API 密钥直接从 Copernicus 获取。CMIP6 集合可经 WeatherBench 或地球系统网格联合会获取,库专门支持 MPI-ESM1.2-HR 模式,原因是其变量与 ERA5 相近。PRISM 提供美国本土的观测大气变量,库把原生四公里日网格重网格到 0.75 度。极端 ERA5 子集由使用者本地生成,方式是把变量与临界值比较以筛选出热浪与寒潮类事件。
处理环节把 NetCDF 转换为分片的 NumPy 归档,训练、验证、测试年份边界均可配置。加载通过 PyTorch 数据模块完成,合法的任务参数包括直接预报、迭代预报、连续预报与降尺度,气候投影另有专门的数据模块。
模型按名称从数据模块加载,数据模块决定输入与输出通道数。基线包含预报用的气候态与持续性、降尺度用的最近邻与双线性插值,以及跨多种任务的线性回归。深度学习架构包含 ResNet、U-Net 与视觉 Transformer,文献中的基准模型可由 Rasp 与 Thuerey 的成果一行加载。优化器与调度器既可按名称加关键字参数传入,也可直接实例化,两种方式可以混用。
指标按任务分组:确定性指标含均方误差、平均绝对误差、均方根误差、距平相关系数、皮尔逊相关系数、平均偏差,以及空间与全球均值两种归一化均方根误差;概率指标含连续排概率评分与扩散技巧比。空间指标另提供纬度加权版本,原因是低纬网格单元覆盖面积小于高纬。可视化可渲染单次预测的逐像素偏差与全测试集的平均偏差,概率输出还提供秩直方图。
三、适用边界与前提
该库以 PyTorch 作为模型接口,要求 Python 3.8 及以上,并需单独安装 xESMF,因为其依赖 ESMpy 仅通过 Conda 分发。最后一点是环境搭建中的实际摩擦点,在没有 Conda 的机器上会直接影响准备工作。
数据层面的边界由三条访问路径界定。WeatherBench 版 ERA5 提供 1.40625、2.8125 与 5.625 度三种分辨率,1978 至 2018 年逐小时覆盖,气压层为 50、250、500、600、700、850 与 925 hPa。CMIP6 路径覆盖 1850 至 2015 年,提供 2.8125 与 5.625 度。PRISM 路径覆盖 1981 年至今的逐日数据,重网格到 0.75 度。这些路径之外的数据不属于该库的契约范围。
若干处理选择是固定的、不可配置的。文档明确写道当前所有数据统一归一化为标准正态分布,并指出这一处理对每个变量都未必最优,降水即为一例,不同的变换方案被列为后续工作。划分通过传给处理函数的显式年份边界指定。降尺度的偏差指标定义为真值与预测的空间均值之差,PRISM 的降尺度目标以零填充到统一网格形状,指标在海洋区域上做掩膜处理。
另一重前提关乎模型容量与硬件。基准模型是较小的卷积与Transformer骨干网络,论文中关于仍待建设内容的表述,包括用于不确定性量化的集合训练、面向天气与气候的大规模预训练神经网络库,以及把物理模型与机器学习结合的混合基线。这些属计划中的意图,在发布时并非已交付的功能。
四、上手路径
安装方式为 pip install climate-learn,xESMF 从 conda-forge 单独安装。仓库自带一份面向 Google Colab 的快速上手笔记本,覆盖从数据下载到训练与预测可视化的完整流程,项目另维护一份 ReadTheDocs 文档站,包含用户指南与开发者指南。
合理的第一条工作流应遵循库自身的任务结构。先选任务,因为任务决定数据集、划分与指标族。做预报时,从 WeatherBench 下载所需变量,用 NetCDF 转 NumPy 的转换器指定训练、验证、测试年份边界与分片数,然后构建指向处理后目录的数据模块。
做降尺度时流程相同,需同时指定输入目录与输出目录,并注意 PRISM 目标需要海洋掩膜,库的指标计算已处理此项,自定义损失函数则需自行复现。
模型加载调用需传入数据模块与架构名称。优化器与调度器按名称加关键字参数传入是最短路径;需要特定优化器时可直接实例化,两种写法可以混用。
首次运行还会遇到两处需要提前安排的事。其一是存储:ERA5 在原始格式下体积可观,预处理版与分片归档虽已削减,但仍需按变量与年份规划磁盘占用。其二是评测口径:库内的测试年份由处理阶段的边界决定,若要与其他工作对比,须确认对方的划分与自己的完全一致,再去解读指标数值上的差异。
五、横向对比
与 WeatherBench 的关系是范围之别,非竞争之别。WeatherBench 供给数据,ClimateLearn 在同一来源之上补上处理流水线、模型库、指标实现与可视化层。已经在 WeatherBench 数据上形成标准化的团队,可以直接采用 ClimateLearn 完成训练与评估,无需改变数据来源。
与 ClimateBench 的差别在任务覆盖与指标。ClimateBench 聚焦气候投影评估,并贡献了 ClimateLearn 在该任务中同样实现的归一化空间与全球均方根误差指标。ClimateLearn 的任务族更宽,两者任务重合处则沿用 ClimateBench 的指标定义。
相对手写 PyTorch 加 xarray,差别在流水线的可复现性。自行实现流水线完全可行,也提供完全的控制权。ClimateLearn 的贡献在于把划分边界、归一化、权重与指标定义固定下来并在用户间保持一致,这正是排行榜数字得以成立的前提。
与业务预报系统栈相比,此处不作对标。论文把欧洲中期天气预报中心的 IFS 集成预报系统作为物理基线参考线,报告称深度学习方法优于气候态与持续性,同时弱于 IFS。这一差距是数据驱动方法在这些任务上所处位置的真实描述。
与神经天气模型文献相比,ClimateLearn 提供的是较小架构的评估脚手架。盘古天气、FourCastNet、GraphCast与 NeuralGCM等模型运行在不同的分辨率与问题规模上;库计划中集成预训练模型库与微调,正是在通往那一文献的桥。
六、基准与数据
论文的预报基准使用 5.625 度的 ERA5,即每个变量 32 乘 64 的网格,预报 500 hPa 位势、850 hPa 温度与两米温度,提前量为六小时以及一、三、五、十天。输入共 49 个变量,叠加三个历史时刻后为 141 个输入通道,训练期为 1979 至 2015 年,2016 年验证,2017 与 2018 年测试,采用 AdamW 优化器,学习率五乘十的负四次方,训练五十轮并在耐心值为五时早停。
结果以纬度加权均方根误差与距平相关系数报告。可迁移的是其定性结论:所有方法随提前量增长而退化;深度学习模型大幅优于气候态与持续性,同时弱于 IFS;三种深度学习架构中 ResNet 在大量任务的两项指标上表现最好。作者把 U-Net 的相对弱势归因于它在高分辨率数据上训练表现更好,把视觉 Transformer 的弱势归因于从头训练时容易过拟合。
极端天气实验报告:在所有提前量上,深度学习模型与持续性在极端 ERA5 上的表现优于完整 ERA5 测试集,而气候态表现更差,这与预测均值并非应对离群值的良策相符。其给出的解释是,子集的边缘分布极端,而被建模的条件分布并不极端。
分布漂移实验分别在 ERA5 与 CMIP6 上训练并跨数据集评估。同数据集评估在所有情形下更优,但跨数据集表现仅小幅落后,作者将此解读为鲁棒性。该实验剔除了 CMIP6 中不可得的四个变量,采用六小时数据,训练、验证、测试年份分别为 1979 至 2010、2011 至 2012、2013 至 2014。
降尺度基准覆盖两种设定:5.625 度 ERA5 到 2.8125 度 ERA5,以及 2.8125 度 ERA5 到美国本土 0.75 度 PRISM 的逐日降尺度。在 ERA5 到 ERA5 设定下,所有方法的皮尔逊相关系数均为 1.0。深度学习模型的均方根误差明显低于两种插值基线,但倾向于高估,产生负的平均偏差。在跨数据集设定下所有基线均退化,深度学习模型仍保持更低的均方根误差与更高的皮尔逊相关系数。
七、物理 AI 场景中的用法
首要角色是为气候机器学习确立评估契约。当结果附带明确的数据集、划分、归一化、加权与指标时,不同团队之间才能比较。在各实现对上述选择各行其是的领域里,结果无法汇总,该库所做的正是消除这类分歧。
第二个角色是可复现的基线。基线集虽小,却具有诊断价值:气候态与持续性界定了平凡预测器的水平,插值界定了重采样的水平,线性回归界定了线性模型的水平。一个连这些界限都跨不过去的新型深度学习架构,并未挣得其复杂度,而该库让这项检查变得廉价。
第三个角色是混合方法的脚手架。论文明确把物理信息神经网络等混合基线列为计划工作。对物理 AI 从业者而言,这里正是把守恒型损失项或物理约束加入标准架构、再在固定协议下度量收益的落点。
第四个角色是教学与入门。快速上手笔记本与结构化的用户指南,降低了领域科学家理解深度学习基础设施的门槛,也为需要理解气象学中通道、层次与提前量等约定的机器学习从业者提供了入口。
第五个角色是为混合研究提供共同语言。当研究者要在同一框架内比较纯数据驱动方法与引入物理约束的方法时,双方必须在数据划分、指标定义与归一化上完全一致,ClimateLearn 恰好提供了这一层共同约定。代理建模与降阶模型合集所讨论的物理约束嵌入方式,其收益大小正取决于评测口径是否统一;口径不统一时,比较结果往往反映的是评测设置差异,并非方法本身差异。
八、不适用场景与失效模式
最具影响的局限是归一化方式被固定。所有变量统一标准化为标准正态分布,文档也承认这一选择对降水一类右偏且厚尾的量并不合适。按此方式训练的模型在重尾变量上优化了错误的目标,而库中暂无可用的修正方案。
第二是模型库规模有限。三个深度学习架构加一个文献基准,官方说明目标是尽可能实现文献中的架构以支持公平比较,与文献的广度相比,排行榜覆盖仍然偏薄。计划中的预训练模型库与集合支持正是对应补救手段,发布时尚未落地。
第三是数据来源覆盖有限。PRISM 之外的区域数据集,以及其他再分析与观测产品,均不在库内。在全球 ERA5 网格或美国本土之外工作的团队,需自行扩展下载与处理层。
第四,它是一个基准库,并非预报生产系统。它不提供业务化流水线、不含资料同化、无延迟预算,也不对部署服务的可靠性作担保。基准本身显示模型误差随提前量增长,而迭代预报方式在较长视界上误差指数累积,论文记录了这一现象并将其归因于既有工作。
第五是项目成熟度。包元数据把项目归类为 pre-alpha 开发状态,文档声明项目处于活跃开发中、接口可能发生较大变更。1.0.0 版于 2023 年 7 月发布到 PyPI,此前 2023 年 2 月有两个预发布版,公开发布列表未再延伸。基于该接口编写的代码应预留适配变化的余地。
第六是定位上的界限。ClimateLearn 面向的是研究与评测语境,与面向业务的天气服务栈不属同一层。案例条目中收录的各类预报模型,展示的是模型本身的能力;库提供的是让这些能力被一致度量的框架。把框架的结果直接当作预报质量结论,或把框架的缺失功能读作模型的能力边界,都会造成误判。
评估框架与模型能力的这种区分,在物理 AI 的其他方向同样成立。物理基础模型合集收录的模型各自带有特定的分辨率、变量集与训练期设定,跨模型比较的前提是把这些口径对齐;物理信息深度学习条目则说明,物理约束进入模型的方式不同,评测协议也随之不同。ClimateLearn 在气候侧建立的那套对齐方式,正是这类比较能够成立的前提条件。
九、版本与口径核对
仓库的公开发布历史仅有一条记录,即 1.0.0 版,日期为 2023 年 7 月 11 日,其说明指出该版本即论文所用代码并列出贡献者。PyPI 上存在三个版本:0.0.1 与 0.0.2 均于 2023 年 2 月 21 日上传,1.0.0 于 2023 年 7 月 6 日上传。PyPI 上传日与 GitHub 发布日之间相差五天,属打包与打标签之间的间隔,此处如实记录,不作平滑处理。
包元数据声明 Python 3.8 及以上,许可分类器为 MIT,仓库许可文件与元数据一致。文档站标注版本为 1.0.0 并显示修订标识,表明文档由标签版本构建,并非持续跟随主分支。
关于命名也需留意:项目在包名与论文题名之间存在细微差异,包名为连字符形式 climate-learn,论文题名中的写法与仓库路径一致;检索文献时若以连字符形式搜索,可同时命中包索引与仓库;若以驼峰形式搜索,则更易命中论文条目。
有两项内容上的注意事项应与基准数字同时陈述。其一,论文的预报对标中,深度学习方法排在 IFS 这一业务物理预报系统之后,引用库中数字时应一并给出这一顺序,只引深度学习各行会歪曲这些任务上的前沿水平。其二,极端天气子集由逐变量、逐地点与临界值比较生成,作者指出洪水通常由短时强降水引起,不属于其所用的极端事件类别;若要评估洪水,需另行构造数据集。
本指南各项主张的出处:版本与打包事实来自 GitHub 发布条目与 PyPI 元数据;库的范围、任务定义、模型与指标清单来自官方文档;全部基准数字出自 ClimateLearn 论文,属作者自身结果。
十、参考资料
-
ClimateLearn 项目 README,GitHub 仓库 aditya-grover/climate-learn,库的范围、安装要求、快速上手笔记本与引用说明。
-
ClimateLearn: Benchmarking Machine Learning for Weather and Climate Modeling,arXiv 2307.01909,2023 年 7 月 4 日提交,数据与模型流水线描述及基准实验。
-
ClimateLearn v1.0.0 发布说明,2023 年 7 月 11 日,论文所用代码与贡献者名单。
-
PyPI 上 climate-learn 1.0.0 的包元数据,上传日期、Python 要求、MIT 许可分类器与开发状态。
-
ClimateLearn 文档,用户指南的任务与数据集一节,任务定义、ERA5/CMIP6/PRISM 访问路径、数据处理与加载。
-
ClimateLearn 文档,用户指南的模型一节,基线与深度学习架构表、模型加载与定制选项。
-
ClimateLearn 文档,用户指南的指标一节,确定性与概率指标清单及其来源引用。
-
ClimateLearn 文档,用户指南的可视化一节,单次预测偏差与平均偏差渲染。
-
Rasp 等,ClimateBench: A multi-resolution, multi-physical benchmark for the uncertainty in climate projections,arXiv 2205.00865,归一化均方根误差指标的出处。
-
WeatherBench 与 WeatherBench2 等基准文档,ClimateLearn 所依托的数据来源与基线。
-
Rasp 与 Thuerey,Skillful Precipitation Nowcasting using Deep Generative Models of Radar,2020,模型库中可按名称加载的文献基准模型。
-
加州大学洛杉矶分校机器智能组的 ClimateLearn 发布公告博文,2023,项目的动机与后续计划。