JAX
新一、简介
JAX 是 Google 开发的开源数值计算库,2018 年首次发布,采用 Apache-2.0 许可证。它的定位是把「用 NumPy 的写法描述数值程序」与「用编译器把程序编译到加速器上」这两件事绑在一起:前者让研究代码保持可读,后者让同一份代码在 CPU、GPU、TPU 上以融合算子的形式执行。
对物理 AI 而言,JAX 的意义在于它是可微编程这一路线的底层承载,并不某个具体的物理求解器。JAX-CFD 提供可微的 Navier-Stokes 求解器,JAX-Fluids 提供 GPU 原生的可微 CFD 框架,二者都建立在 JAX 的自动微分与即时编译之上;神经算子与物理信息神经网络研究同样大量依赖它提供的可组合梯度变换。理解 JAX 的变换模型与代价模型,才能判断这些上层框架的能力边界来自算法本身,还是来自 JAX 的执行模型。
读完这篇,你应当能回答三个问题:JAX 的四大变换各自解决什么问题;把一个既有求解器改写成 JAX 风格时会在哪里遇到阻力;以及在多 GPU/TPU 上扩展一个可微仿真时,哪些环节会成为真正的瓶颈。本站对可微求解器成本边界的讨论见经典求解器成本边界指南,对神经算子路线的选型讨论见神经算子选型指南。文中所有版本与能力表述均于 2026 年 11 月 16 日对照项目仓库、发布记录与官方文档核实;凡属项目自述并非独立测量的说法,会在第九节明确标注。
二、原理与工作方式
JAX 的核心是「函数变换」模型:程序是纯粹的 Python 函数,变换作用于函数并返回新的函数。四类基本变换各司其职。jax.grad 实现自动微分,默认反向模式,也支持 jax.jacfwd/jax.jacrev 给出雅可比;jax.jit 把函数追踪成 XLA 计算图并编译为加速器可执行形式,提供算子融合与常量折叠;jax.vmap 在批次维度上自动向量化,无需手写循环;jax.pmap 与 jax.shard_map 负责跨设备并行与显式分片。
这些变换可以任意复合。jax.jit(jax.vmap(jax.grad(f))) 得到的是一个被编译过的、批量化求过梯度的函数,这种组合能力是 JAX 相对传统数值库的核心差异点:同一段求解器代码既可以直接正向求解、也可以给出设计变量的梯度、还可以一次评估上千组工况。
执行模型上有三条硬约束值得记住。其一是静态形状:jit 通过抽象值追踪函数,输入形状在编译期必须确定,形状变化会触发重新追踪与重编译;数据相关的分支必须写成 jax.lax.cond/jax.lax.scan 这类可微控制流,并非 Python 的 if/for。其二是函数纯粹性:数组不可变,更新通过 .at[].set() 返回新数组,随机性通过显式的 PRNG 密钥传递,这些约束保证了变换的语义正确性。其三是结构化容器:JAX 操作 PyTree,即嵌套的数组容器,变换会自动映射到叶子节点,因此模型参数可以是任意嵌套字典而无需特殊处理。
编译由 XLA(现由 OpenXLA 社区维护)完成,支持 CPU、CUDA、ROCm、Metal 与 TPU 多后端。0.12.0 版本进一步引入了 IFRT Proxy 后端,可连接 Pathways on Cloud 等远程代理服务;同版本还新增了 jax.lax.polynomial 多项式求值原语(求梯度时更快、更省内存)以及 jax.custom_vjp.defremat 等重计算定制接口。
三、适用边界与前提
JAX 假设你的计算可以被表达为形状稳定的纯函数。如果你的代码重度依赖可变状态、原地修改、动态形状或 Python 层的对象封装,改造成本会很高。这不是风格偏好问题,而是执行模型的直接后果:jit 的追踪阶段无法执行依赖数据值的 Python 分支,静态形状假设也无法绕开。
精度是一个容易被忽略的前提。JAX 默认使用 32 位浮点,64 位字面量会被静默降精度;物理仿真对双精度通常有实质需求,必须显式开启 jax.config.update("jax_enable_x64", True)。这一设定会影响显存占用与编译结果,属于需要在工程开始前就确定的口径。
另一条前提是版本耦合。jax 与 jaxlib 必须保持同版本号,因为 jaxlib 携带编译后的 XLA 后端,版本不匹配会在导入阶段直接失败;GPU 支持通过 jax[cuda12]、jax[cuda13] 等插件形式提供,插件与主包之间的兼容矩阵需要在部署前逐项确认。NVIDIA 官方容器与 JAX 生态的 NGC 版本线也各自固定了 JAX、XLA、Flax、TransformerEngine 的配套版本。
生态分工是理解 JAX 定位的关键。JAX 本身刻意保持精简,只提供数组与变换;神经网络层在 Flax/Haiku/Equinox,优化器在 Optax,检查点在 Orbax,测试工具在 Chex。这意味着采用 JAX 往往意味着要额外拼装这些组件,而通用深度学习生态中的预训练模型与工具链大量以 PyTorch 为中心。
还有一项前提常被略过:JAX 的异步派发语义。jit 后的算子调用立即返回,计时代码若不显式等待设备就绪,测到的是派发开销并非真实计算。这一语义在长时仿真循环中会累积成明显的口径偏差,因此任何基于 JAX 的性能对比都必须先统一同步策略,再谈速度结论。
四、上手路径
最短路径是从一个已经写好的纯函数开始,并不从空仓库开始。先安装与硬件匹配的组合:CPU 场景安装 jax 即可,GPU 场景安装 jax[cuda12] 或对应插件,安装后用 jax.devices() 确认设备识别正常。第一步写一个不涉及加速器的朴素实现,例如一维热扩散的前向步进或 Burgers 方程的残差计算,用 jax.grad 验证梯度正确——此时务必用中心差分做一次数值对照,梯度错误往往比形状错误更隐蔽。
第二步引入 jit。此时会遇到第一批真实的摩擦:静态形状假设、数据相关分支需要改写为 jax.lax 控制流。可以先只对热点函数加 jit,观察首帧编译延迟与后续调用的加速比,注意区分「异步派发」与「实际计算」——计时前调用 block_until_ready(),否则测到的是派发开销。
第三步引入 vmap。把多个工况、多个边界条件或多个样本点的计算批量化,这是 JAX 在仿真类任务中最直接的收益来源。第四步再考虑设备并行与分片,此时需要先确定数据在各设备上的切分方式,jax.sharding 的显式分片比自动切分更容易在多节点场景下调试。
在整条路径上都要保留一个传统求解器作为参照系:同一算例用既有代码算一遍,逐步比对中间量与最终量的偏差,偏差出现的位置就是 JAX 化改写引入错误的边界。站内物理仿真入门与物理信息机器学习综述可作为方法学参照。
五、横向对比
与 PyTorch 的比较是绕不开的话题,两者目标硬件相同,差异在编程模型。PyTorch 是命令式执行模型,张量可变,调试直观,第三方库生态庞大,预训练模型与生产工具链齐全;JAX 是变换式模型,数组不可变,追踪阶段施加额外约束,但变换可组合、高阶导数原生支持、并提供显式的分片与网格机制。PyTorch 在 2.x 之后也引入了 torch.compile、torch.export、编译版 autograd 与 FSDP2 等能力,性能差距已经显著收窄,因此「JAX 编译、PyTorch 急切执行」这一旧概括已不足以描述现状。
在物理 AI 的具体语境下,JAX 的差异化优势集中在三处:可组合变换带来的高阶导数与自定义梯度能力;vmap 提供的零成本批量化评估,这对不确定性量化与参数扫描价值很高;以及面向 TPU 的大规模训练路径,XLA 编译器与 Shardy 分区器是为此设计的。PyTorch 的优势则在于生态惯性、预训练模型的可用性与团队上手成本。
生态层面的差异同样具体。JAX-Fluids 与 JAX-CFD 这类可微 CFD 框架都选择 JAX,因为它们需要把整个求解器当作一个可微算子包起来;XLB 这一基于 JAX 的可微格子玻尔兹曼库则展示了另一条路径,通过 lax.ppermute 实现跨 GPU 通信,把格子碰撞与推进阶段直接映射到设备网格上。另一方面,NVIDIA Warp 提供了一条以 kernel 并非变换为中心的替代路线,Taichi 则面向 MPM 与可微仿真提供另一套编程抽象。三者的取舍取决于你要的是「可组合的变换」还是「高性能的 kernel」。
六、基准与数据
关于性能,可引用的独立测量有限,这一点应当在选型时明确。可查到的公开报道提到 XLB 在 512 张 NVIDIA A100(64 个节点)上扩展到超过 670 亿流体格点,峰值约 2200 亿格点更新每秒(GLUPS),并用 lax.ppermute 完成跨卡通信。这类数字来自特定算法与特定硬件组合,不能直接外推到通用 CFD 求解器。
关于资源占用,有一份面向高性能计算场景的实践总结给出了量级参考:JAX 路径在内存占用上优于同场景的 PyTorch 实现,pmap 在 64 张 GPU 以内可保持较高扩展效率,超过 128 个节点后通信开销显著上升;计算密集型任务(如特征值求解)可获得数量级的加速,而受 I/O 约束的工作流则收益有限,需要额外的数据管线配合。这些结论带有明显的场景限定,其中给出的成本测算基于特定超算平台的报价折算,仅供理解量级参考。
一个稳定可复现的工程事实比跨框架跑分更有参考价值:JAX 的计时必须区分编译期与执行期,且因为操作是异步派发的,直接测量墙钟时间会低估实际耗时。同一算例在 JAX 上运行数千次迭代时,编译开销被摊薄后与解释执行路径的差距会显著变化,这使得「JAX 一定更快」与「JAX 一定更慢」都不成立。
本节不给出跨框架的统一跑分表,原因是这类数字对算例、精度、硬件与编译预热假设高度敏感,任何脱离这些条件的表格都会误导决策。更可靠的做法是拿自己关心的算例,在目标硬件上以相同精度与相同收敛判据做对照测试。
七、物理 AI 场景中的用法
在物理 AI 工作流中,JAX 承担三层角色。第一层是可微求解器的运行时,JAX-CFD 用它实现可微的 Navier-Stokes 离散,JAX-Fluids 用它构建 GPU 原生的可微 CFD 内核;两者都以 JAX 的 jit/vmap/grad 为接口契约。第二层是神经算子与代理模型的前端,PhysicsNeMo 与 NeuralOperator 等框架常以 JAX 为训练后端,神经算子的算子学习本身要求对算子求导,这正是自动微分的主场。第三层是优化与反问题求解:把 PDE 求解器作为可微算子嵌入优化循环,就能把设计变量、边界条件或本构参数作为优化目标求解,这构成逆设计与参数反演的基础。
一条被反复验证的工作流是「可微求解器生成数据 + 神经代理模型训练 + 代理模型快速评估」。在这条链路里,JAX 提供两侧的算力:求解器一侧因为 vmap 可以廉价地产生大批量标签数据,代理模型一侧因为 jit 与分片可以高效训练。这类「求解器即数据引擎」的用法,其前提是求解器可微且离散化与训练数据的生成方式一致——同一离散下训练与评估才能保证残差具有物理意义。
在多物理场与优化耦合的场景中,JAX 的高阶导数支持有额外价值:当被优化量本身是一个 PDE 解(例如把流场的瞬态轨迹作为控制变量),需要的是对解的二阶导数,而这在纯命令式自动微分框架中往往需要手工构造。
八、不适用场景与失效模式
最典型的失效模式是形状变化触发的重编译。自适应网格加密、可变网格尺寸的仿真或数据依赖的循环长度,都会让 jit 函数反复重追踪,编译开销可能反超计算收益,实践中观察到延迟可上升数倍。常见缓解方式是用 jax.ShapeDtypeStruct 把形状抽象化,或把不同规模的数据填充到统一最大尺寸;另一条路线是先用固定形状训练,再在部署阶段接受一次性编译成本。
第二类是不可微操作导致的梯度断裂。整数索引、粒子追踪中的离散判决、stop_gradient 的隐式引入都会让自动微分链中断。缓解办法是对离散选择使用可微近似(如 Gumbel-Softmax 一类松弛),或在不需要梯度处显式使用 stop_gradient 切断链路。
第三类是梯度溢出与数值不稳定。刚性 ODE 或爆炸性反应的大时间步长会让梯度溢出为 NaN。排查手段是用 jax.debug.print 在追踪期打印中间量,并用有限差分交叉验证;工程上对常数参数施加 stop_gradient 或对梯度做裁剪,能消除相当比例的不稳定。
第四类是内存与分片不匹配。数据在各设备间分布不均时,pmap 的分片假设与实际数据布局冲突,会表现为显存溢出。解决办法是显式使用 jax.device_put 放置数据,并先用小批次验证分片逻辑。
最后一个边界是不适合本身:遗留的 Fortran/C++ 求解器如果以命令式封装形式接入,函数式改写的成本可能高于直接使用原求解器。同理,对于以监督学习为主、模型结构固定且需要大量现成预训练权重的任务,JAX 的生态劣势是实质性的,此时 PyTorch Geometric 这类 PyTorch 侧工具的便利性更有价值。
九、版本与口径核对
截至 2026 年 11 月 16 日,JAX 的最新版本仍为 0.12.0.1,其 PyPI 上传时间为 2026 年 10 月 21 日、GitHub 发布时间为 2026 年 10 月 22 日;前一版 0.12.0 发布于 2026 年 10 月 19 日,0.11.0 发布于 2026 年 7 月 16 日。项目采用 0.x 的快速发布节奏,建议固定版本并保持 jax 与 jaxlib 同步。需要说明的是,本条目在编写时于 PyPI 与项目仓库观察到的版本信息在不同时间点存在差异,具体以项目发布页为准。
0.12.0 系列的可核实变更包括:新增 jax.scipy.special.erfcinv;新增 jax.lax.polynomial 多项式求值原语,官方说明其在计算梯度时更快且更省内存;新增 jax.custom_vjp.defremat 用于定制重计算行为;jax.nn.get_scaled_dot_general_config 增加 mxfp4 量化配置,在 AMD gfx950 GPU 上原生执行,其余平台走反量化回退路径;注册 IFRT Proxy 后端,可通过 JAX_PLATFORMS=proxy 与 JAX_BACKEND_TARGET 连接远程代理服务;jax.sharding 新增 no_collectives 上下文管理器,在显式分片模式下于追踪期检查跨网格轴的集合通信;jax.scipy.linalg.eigh 支持广义 Hermite 本征值问题。
生态配套方面:Flax 提供神经网络层,Equinox 是另一套模块化抽象,Optax 负责梯度处理与优化器,Orbax 负责检查点,Chex 提供测试工具,mpi4jax 提供 MPI 互操作。NVIDIA 的 NGC 容器线(JAX Release 26.01)固定了 JAX 0.8.1、CUDA 13.1.1、Flax 0.12.1、TransformerEngine 2.11 的组合,说明生产部署通常按容器版本并非上游最新版对齐。
口径声明:本节列出的版本号、日期与变更条目均来自项目发布记录与官方发布说明;第三节与第六节引用的性能量级来自第三方实践总结与项目技术报告,属于特定配置下的测量,不代表所有硬件与算例的表现。条目首发布年份保留为 2018 年,与当前维护版本并不矛盾。
十、参考资料
-
JAX 项目仓库与官方文档,github.com/jax-ml/jax 与 docs.jax.dev,概念指南与变换 API 说明。
-
JAX 发布记录:0.12.0(2026-10-19)、0.12.0.1(PyPI 上传 2026-10-21、GitHub 发布 2026-10-22)、0.11.0(2026-07-16),于 2026-11-16 核实。
-
OpenXLA 项目文档,XLA 编译器的算子融合、常量折叠与多后端支持说明。
-
JAX-Fluids 项目文档与论文,可微 GPU 原生 CFD 框架的实现与算例验证。
-
JAX-CFD 项目文档与论文,Google Research 提出的可微 Navier-Stokes 求解器。
-
XLB 论文,可微大规模并行格子玻尔兹曼库,含 512 张 A100 上的扩展与吞吐量数据。
-
NVIDIA JAX Release Notes,NGC 容器中 JAX、XLA、Flax、TransformerEngine 与 CUDA 的版本配套关系。
-
JAX 常见陷阱文档,静态形状、函数纯粹性、64 位精度开启、异步派发与首次调用编译延迟。
-
mpi4jax 项目文档,JAX 与 MPI 的互操作层及版本兼容要求。
-
JAX 生态组件文档:Flax、Equinox、Optax、Orbax、Chex,各自的职责边界与配合关系。