托卡马克等离子体磁约束控制:强化学习在真实聚变装置上的闭环验证
新一、简介
这篇工作回答的是物理 AI 里最难回答的一类问题:学习方法在真实物理装置上到底能不能闭环。仿真到真实的案例中,不少停在”离线指标接近”这一步,而托卡马克磁控制把链路跑到了底——控制器在仿真器里训练,编译成实时可执行程序装载到真实装置的控制系统,在 10 kHz 的控制频率上直接给 19 个磁线圈下发电压指令,并让等离子体在多次实验中保持目标位形。
选择托卡马克作为验证平台的原因很直接。托卡马克的等离子体平衡由 Grad–Shafranov 方程描述,磁场与等离子体压力梯度之间的洛伦兹力平衡决定了位形,这个方程有成熟的数值解法,因而可以构造物理上可信的快速仿真器。与之相对,位形约束是一组相互耦合的目标:形状、位置、拉长比、三角形因子、偏滤器 X 点位置、等离子体电流、垂直稳定性增长率同时作用,单独看每一个都很简单,耦合起来之后传统的单变量 PID 式控制很难同时满足。深度强化学习恰好适合这种”目标由运行人员给定、约束多而耦合”的形式。
这条路线也回答了工业界最关心的一个问题:训练需要多久、推理需要多快、成本能不能接受。论文给出的量级是 5,000 个并行 actor、1–3 天训练时间、单张 TPU 上做 learner 汇总、策略网络 266,280 个参数、编译后装入 TCV 实时框架。这组数字把”AI 控制聚变装置”从演示视频拉回到了工程可行性的讨论范围。相关的工程取舍,例如实时求解器与训练框架的选择,见经典求解器成本边界一文的通用框架。
二、原理与工作方式
整条链路分四层,论文对每一层都给出了明确的设计选择。
第一层:物理仿真器。 使用 FGE(Free-boundary Grad-Shafranov Equilibrium)软件包求解自由边界 Grad–Shafranov 方程,等离子体总电流按集总电路方程演化。自由边界的含义是等离子体边界与真空磁场边界耦合求解,X 点、偏滤器腿位置这类几何量直接来自解本身。仿真步长设为 50 kHz,而控制频率为 10 kHz,因此每次策略求值对应 5 个仿真子步,期间动作(线圈电压)保持不变。这个”控制频率与仿真步长解耦”的设计,让仿真时间步可以按数值精度独立选择。后续工作把 FGE 的 Newton–Krylov 求解器残差容差从 1e-8 放宽到 1e-4,训练速度提升 2–3 倍,同时仿真控制结果没有明显变化。
第二层:观测与动作空间。 控制器直接消费磁场测量,不依赖实时平衡重建。使用的实时传感器包括 34 个测量磁通的绕线环、38 个测量局部磁场的探头、19 个主动控制线圈的电流测量,外加一个欧姆线圈电流差的冗余测量。动作是 19 个线圈的电压指令。这个设计是关键的工程取舍:实时平衡重建(如 LIUQE)在传统磁控制中充当位形观测器,但它在本工作中只用于事后分析验证和为仿真计算初始条件。
第三层:算法。 采用最大后验策略优化(MPO)这一 actor-critic 算法。选择理由有三层:MPO 支持跨分布式并行数据流的收集,在数据效率上有优势;磁控制存在固有非对称性,actor 受控制速率约束而 critic 不受,论文利用这一点让 critic 用更强的循环网络(718,337 参数)与更大的感受野去学习环境动力学,actor 保持轻量(266,280 参数)。论文做了对称设计对照实验:把 critic 也做成与 actor 规模相当的多层感知机(266,497 参数),性能明显低于非对称设计。
第四层:训练与部署。 训练采用 5,000 个 actor 并行,每个 actor 独立跑一份仿真器,learner 跑在一张 TPU 上。采样效率低是这个场景的固有问题——仿真器需要演化等离子体状态,数据产出速率远低于常见强化学习环境。策略随后与控制目标一起被编译成面向 10 kHz 实时控制的可执行程序,编译过程尽量减少依赖并剔除冗余计算。部署时沿用标准等离子体建立流程,由传统控制器维持等离子体位置和总电流,在预设时刻交接给学习控制器。
后续实用化工作在此基础上加入了三项改进:奖励塑形用更密集的中间反馈替代稀疏的终点信号;积分观测把历史误差累积进观测,缓解稳态偏差;分块并行把一个回合切成若干段,让不同 actor 在不同时刻接力,从而把学习时间从约 40 小时压缩到约 10 小时。
三、适用边界与前提
这篇工作的适用边界划得相当清楚,读的时候需要逐条对号入座。
需要真实装置的实时系统。 10 kHz 控制频率、19 线圈同时动作、毫秒级交接,都依赖装置已有的实时控制框架。没有这套设施的团队无法直接复刻演示路径。
需要可信的快速仿真器。 FGE 求解的是自由边界平衡,不含湍流输运、撕裂不稳定性增长率预测、破裂预测等环节。论文在”限制与失败模式”中明确说明:控制器不会导致类似”模拟对应破坏判据的等离子体”这一类后果,是因为训练仿真里根本不含破坏物理模型。也就是说,破坏规避能力在训练阶段没有被建模。
需要域随机化覆盖的不确定区间。 训练中随机化的范围包括归一化压强 βp、安全因子 q95、增长率 γ、等离子体电流、加热功率等,这些区间在论文附表中逐项列出并与实验实测值对照。超出训练区间时,控制器行为没有保证。
需要目标由人给定。 论文的框架是”运行人员给定一组目标,AI 去优化”,这条路线不覆盖目标本身的自动生成与工程取舍。位形目标由实验物理人员按实验计划制定,控制器负责把它稳定住。
硬件保护层不可省略。 论文明确建议:即使控制器在仿真中避免了破坏判据,也需要在实验中保留更简单的后备控制器或联锁系统,因为仿真不保证避免所有形式的破坏。
控制目标有难度梯度。 双液滴实验展示了架构对”先前未知位形”的适应能力,但论文同时指出,保持高精度的完美雪花位形,仿真到真实的差距仍然存在。
四、上手路径
第一步:明确要做的是哪一类控制。 位形控制、垂直稳定性控制、破坏规避是三个不同的问题域。论文的强项是位形约束,破坏规避属于另一条研究线(普林斯顿团队基于多模态动态模型的工作),两者在建模对象和代价函数上不通用。
第二步:搭建或获取仿真器。 若目标装置与 TCV 差异较大,需要自建自由边界平衡求解器或接入既有开源工具。这类”用可微/可加速的物理内核支撑强化学习”的思路,在流体力学与传热问题上也有对应实践,例如 JAX 流体仿真框架 与 PhysicsNeMo 在核函数加速与代理模型耦合上的做法可以直接借鉴。
第三步:确认观测通道的实时可得性。 控制策略消费的是原始磁场测量,重建后的状态量不参与控制回路。这一条决定了传感器选型:绕线环、探头的数量与位置必须与线圈布局协同设计,属于装置级改动,无法在算法侧绕过。
第四步:搭好训练基础设施。 分布式 actor + 单 learner 是这一规模下的标准配置。若已有成熟的并行仿真框架,可直接套用;多物理场耦合框架 一类工具在多物理场场景下的并行与耦合调度经验在此有参考价值。
第五步:做奖励塑形与观测增强的实验。 后续实用化论文给出的数字是明确的:奖励塑形使 X 点跟踪 RMSE 相比此前一次 TCV 实验下降 59.7%,其中仿真侧从 3.46 cm 降到 0.27 cm,硬件侧从 3.66 cm 降到 1.74 cm;分块并行把学习时间从约 40 小时降到约 10 小时。
第六步:设计交接流程与后备保护。 用传统控制器建立等离子体并维持位置与总电流,在预设时刻交接给学习控制器,同时保留后备控制器与联锁。这是把仿真成果搬到装置上的必要条件。
五、横向对比
对比经典磁控制方案。 传统方案用一组子控制器(径向位置、垂直位置、形状、偏滤器位置等)分工协作,每个子控制器各自闭环。论文的做法是单个神经网络直接输出全部 19 个线圈电压,把”目标间冲突如何取舍”这个问题交给训练过程解决。差别不只是结构简化:多子控制器方案在目标冲突时的取舍规则要靠人写,神经网络方案的取舍规则由奖励函数决定,而奖励函数同样由人写,但写的是”想要什么”,不再写”怎么协调”。评价这类差别时,代理模型与降阶模型集合中关于控制型代理的讨论提供了统一视角。
对比纯 PID 与线性控制器。 论文的立场是:传统方法依赖平衡重建与线性化模型,适应性受限。后续 DIII-D 上中尺寸装置的工作把这个论点推进了一步——采用 Soft Actor-Critic 算法,直接消除对实时平衡重建的依赖,训练时使用 NSFsim(带电路方程的二维 Grad–Shafranov 平衡求解器 + 一维输运求解器),论文指出其复现动理学参数演化与磁平衡演化的能力,是影响控制质量的关键因素。该工作在 DIII-D 上做了实验验证,报告在放电瞬态过程中保持了控制性能,并能在首次放电即达到目标参数,无需额外调参。
对比破裂规避这条平行路线。 普林斯顿团队把多模态动态模型作为强化学习的训练环境,用于规避撕裂不稳定性,该工作发表于 Nature 2024 年(第 626 卷,746–751 页)。它与本文的差别在于目标性质:位形控制是连续量的精度问题,破坏规避是稀疏且代价极高的安全事件问题。
对比其他装置上的复现。 法国 WEST 装置的磁控制强化学习工作发表于 IEEE Transactions on Plasma Science 2024 年(第 52 卷,3698–3703 页)。这类跨装置复现说明方法具备可迁移性,同时也说明迁移需要重新训练或适配。
对比强化学习在流体力学中的其他落地形态。 流场强化学习控制案例 与 神经算子系列代表的是另一类路径:在流体力学求解器上做代理或控制,通常面向几何优化或载荷控制,实时安全相关的位形保持属于另一类问题。把两类问题放在一起看,可以更清楚地判断强化学习在物理 AI 中的能力边界。
六、基准与数据
控制指标(Nature 2022 原文数据)。 雪花位形实验:控制策略先建立 X 点间距 34 cm 的雪花位形,再操纵远端 X 点逼近限制点,最终间距收到 6.6 cm;时变 X 点目标跟踪综合 RMSE 为 3.7 cm,同时等离子体电流 RMSE 为 0.50 kA,形状 RMSE 为 0.65 cm。双液滴实验:两个独立液滴在整个 200 ms 控制窗口内稳定维持,并在各域内爬升电流。目标形状点半径 2 cm 与平衡重建等离子体边界对比,展示了多个位形(拉长比 1.9 且垂直不稳定性增长率 1.4 kHz 的位形、带中性束加热的 ITER 近似位形、偏滤负三角因子 −0.8 的位形、底部 X 点时变控制的雪花位形)的控制结果。
实用化改进的对比表(后续论文 Table 6,雪花位形 X 点跟踪)。 仿真侧:此前策略 X 点平均 RMSE 3.46 cm、LCFS 平均 RMSE 0.078;奖励塑形策略 X 点平均 RMSE 0.27 cm、LCFS 平均 RMSE 0.0069。硬件侧:此前 TCV 炮号 77505 的 X 点平均 RMSE 3.66 cm、LCFS 平均 RMSE 0.0110;奖励塑形 TCV 炮号 70755 的 X 点平均 RMSE 1.74 cm、LCFS 平均 RMSE 0.0119。硬件上 LCFS 精度基本持平,X 点精度有实质改善。
训练规模与成本。 5,000 个 actor 并行,训练时间通常 1–3 天,复杂目标下更长;论文还做了 actor 数量扫描,结论是减少 actor 数量可以显著压缩训练时间,代价是训练时长上升。改进后的分块并行方案让智能体在约 10 小时达到 96 分(满分 100)的奖励,而基线方案需要约 40 小时。
模拟器与网络规格。 仿真时间步 50 kHz,控制频率 10 kHz,每次策略求值对应 5 个仿真子步;actor 266,280 参数,critic 718,337 参数且使用循环 LSTM,对称设计对照的 critic 为 266,497 参数。后续工作将 FGE 求解残差容差由 1e-8 放宽至 1e-4,得到 2–3 倍训练加速。
装置几何。 TCV 容器高 1.5 m,小半径 0.88 m,容器半宽 0.26 m,配置 19 个受控线圈。
装置规模对标。 与 TCV 同类的中型托卡马克上的独立验证见于 DIII-D(Soft Actor-Critic + NSFsim,2025 年预印本);可微的托卡马克核输运模拟器 TORAX(基于 JAX,已开源)面向场景建模、脉冲设计与控制研究,并与既有 RAPTOR 代码做了剖面一致性验证。这类工具与 数值与求解器集合中的其他条目构成可复用的技术栈。
七、物理 AI 场景中的用法
用法一:把”目标给定、约束耦合”的问题交给学习控制器。 位形控制属于目标由运行人员指定、约束多维且相互耦合的典型形态,强化学习在这里的作用是把多目标取舍从人写死协调规则变成在奖励函数里表达偏好。
用法二:用仿真器数据承担训练,实验数据用于验证。 由于实验数据昂贵且稀缺,训练数据几乎全部来自仿真器。这一”数据引擎先行”的组织方式,是物理 AI 落地的常见范式:先建可信内核,再堆算法。物理 AI 学习路径中的方法论与此一致。
用法三:把不可微的物理环节留给仿真器,把可微的环节交给代理。 虚拟电路(Virtual Circuit)思路用形貌仿真器对敏感度矩阵做学习近似,用于实时磁控制的后端。最新工作量化了这类仿真器的实时可用性:形貌仿真器雅可比算子与精确 Grad–Shafranov 解的有限差分雅可比在选定几何目标上吻合度约 5–10%,网络规模约 10^5 参数,训练需要约 10^5–10^6 个合成平衡样本;未被实时测量的容器电流可由主动线圈电流测量尾随窗口上的线性回归推断,残差仅为几安培。这条路线与 拓扑优化案例中”用可微代理替换求解器内核”的思路同源。
用法四:为热流体系统提供可迁移的算法基线。 磁控制的算法细节——非对称 actor-critic、奖励塑形、积分观测、分块并行、域随机化——都是与具体物理无关的通用手段,在其他实时物理系统控制上具备可迁移性。
用法五:为代理模型在聚变领域的落地提供参照。 与托卡马克相关的神经代理与可微模拟器工作已在本站收录,例如 TokaGLINT 电磁模拟 与 DKEKAN 漂移动理学代理,两篇展示了聚变物理中代理模型的两条主线:电磁场快速求解与动理学输运近似。
八、不适用场景与失效模式
破坏规避不能指望这套方案。 训练仿真器只求解磁平衡,不含破坏判据模型,因此控制器学到的行为没有”不引起破坏”的保证。需要破坏规避时,路径是接入多模态动态模型作为训练环境,这是另一条独立的技术路线。
超出演练区间的目标不具备保证。 训练时随机化的参数区间有明确边界,超出区间后的控制器行为未经验证。换目标就要重新训练,这是当前范式的固有约束。
完美雪花位形在硬件上仍有精度缺口。 奖励塑形后硬件侧 X 点 RMSE 为 1.74 cm,与仿真侧的 0.27 cm 之间仍存在明显差距,论文对此有明确表述。
LCFS 精度与 X 点精度会互相牵制。 数据表中奖励塑形策略的 LCFS 平均 RMSE(0.0119)与此前策略(0.0110)基本持平,说明 X 点精度的提升没有自动带来边界精度的提升。
依赖特定装置的实时基础设施。 训练产物是与装置强绑定的实时可执行程序,迁移到另一台装置需要重训或显著适配。
评价口径要与公开数据的可得性对齐。 论文数值是在 TCV 这一台装置、特定的传感器配置与特定的交接流程下取得的,跨装置引用时应注明条件,避免把单台装置的结果当成普适精度指标。
属于研究验证阶段的技术。 论文发表时为受控研究验证,相关代码中 FGE 与 LIUQE 需向瑞士等离子体中心申请许可协议获取,学习算法 MPO 的参考实现与所用软件库(launchpad、dm_env、sonnet、tensorflow、reverb)以开源许可提供。这套开放程度与工业软件的可获得性有差别。
九、版本与口径核对
技术路线版本。 主论文为 Degrave 等 2022 年 2 月 16 日在线发表于 Nature 第 602 卷 414–419 页,DOI 10.1038/s41586-021-04301-9,主张首次在真实托卡马克上验证基于深度强化学习的磁控制。后续实用化论文《Towards practical reinforcement learning for tokamak magnetic control》由 Tracey 等 17 人署名,发表于 Fusion Engineering and Design 第 200 卷 114161 页(2024 年 3 月),DOI 10.1016/j.fusengdes.2024.114161,其 arXiv 预印本为 arXiv:2307.11546。
重要修正:本条目早期版本引用的 arXiv 编号有误。 早前版本的 source_url 指向 arXiv:2104.06277,该编号对应的是一篇网络入侵检测方向的论文,与等离子体控制无关。核对 arXiv 检索结果后,Degrave 等 2022 年 Nature 论文没有对应的 arXiv 预印本;可用的公开预印本是 2023 年的后续实用化工作 arXiv:2307.11546,因此本条目的 source_url 已改为该编号。
平行路线的著录。 撕裂不稳定性规避工作《Avoiding fusion plasma tearing instability with deep reinforcement learning》发表于 Nature 第 626 卷 746–751 页(2024 年 2 月 21 日),DOI 10.1038/s41586-024-07024-9,作者 10 人。WEST 装置复现《Magnetic Control of WEST Plasmas Through Deep Reinforcement Learning》发表于 IEEE Transactions on Plasma Science 第 52 卷 3698–3703 页(2024 年 9 月),DOI 10.1109/tps.2024.3377811。
仿真与代码可得性口径。 主论文代码可用性说明指出:MPO 参考实现以开源许可提供,launchpad、dm_env、sonnet、tensorflow、reverb 等软件库均为开源;控制目标、奖励与终止条件的计算代码随论文补充材料提供;FGE 与 LIUQE 需向瑞士等离子体中心(EPFL)申请许可协议。数据可用性方面,论文图像对应的 TCV 实验数据在补充材料中提供,源数据随论文发布。
训练框架版本差异。 主论文使用 TensorFlow 生态;后续实用化工作全部改用 JAX 与 Haiku 构建神经网络并训练参数。
其他相关预印本。 DIII-D 中尺寸装置上的无平衡重建磁控制工作为 arXiv:2506.13267(2025 年 6 月);虚拟电路仿真器实时可用性量化工作为 arXiv:2509.01789(2025 年 9 月);快速可微托卡马克输运模拟器 TORAX 为 arXiv:2406.06718(2024 年 6 月)。
十、参考资料
- Degrave N., Minciac E., Lele A., Yu A., Yadsabadi M., et al.,《Magnetic control of tokamak plasmas through deep reinforcement learning》,Nature 第 602 卷,2022 年 2 月 16 日,414–419 页,DOI 10.1038/s41586-021-04301-9,https://doi.org/10.1038/s41586-021-04301-9
- Tracey J., Michi K., Chervonyi V., Davies T., Paduraru R., et al.,《Towards practical reinforcement learning for tokamak magnetic control》,Fusion Engineering and Design 第 200 卷,2024 年 3 月,114161 页,DOI 10.1016/j.fusengdes.2024.114161,arXiv:2307.11546,https://arxiv.org/abs/2307.11546
- Seo J., Kim D., Jalalvand M., Conlin M., Rothstein A., et al.,《Avoiding fusion plasma tearing instability with deep reinforcement learning》,Nature 第 626 卷,2024 年 2 月 21 日,746–751 页,DOI 10.1038/s41586-024-07024-9,https://doi.org/10.1038/s41586-024-07024-9
- Kerboua-Benlarbi S., Nouailletas A., Faugeras B., Nardon E., Moreau P.,《Magnetic Control of WEST Plasmas Through Deep Reinforcement Learning》,IEEE Transactions on Plasma Science 第 52 卷,2024 年 9 月,3698–3703 页,DOI 10.1109/tps.2024.3377811,https://doi.org/10.1109/tps.2024.3377811
- 《Reconstruction-free magnetic control of DIII-D plasma with deep reinforcement learning》,arXiv:2506.13267,2025 年 6 月,https://arxiv.org/abs/2506.13267
- 《Real-Time Applicability of Emulated Virtual Circuits for Tokamak Plasma Shape Control》,arXiv:2509.01789,2025 年 9 月,https://arxiv.org/abs/2509.01789
- 《TORAX: A Fast and Differentiable Tokamak Transport Simulator in JAX》,arXiv:2406.06718,2024 年 6 月,https://arxiv.org/abs/2406.06718
- Hugle M., Kainz A., Degrave N., et al.(DeepMind 与瑞士等离子体中心合作团队),《Magnetic control of plasma shapes in a tokamak》相关联的方法学论文中引用的 FGE 自由边界平衡求解器说明,见主论文参考文献 22 与补充材料
- MPO 最大后验策略优化参考实现(开源许可),主论文代码可用性说明中列出的相关软件库:launchpad、dm_env、sonnet、tensorflow、reverb,https://github.com/deepmind/acme
- 瑞士等离子体中心(Swiss Plasma Center, EPFL)FGE 与 LIUQE 软件授权说明,主论文代码可用性段落与论文末页联系信息,https://www.epfl.ch/labs/spc/
- TCV 托卡马克装置的公开技术说明与机器参数(容器高 1.5 m,小半径 0.88 m,容器半宽 0.26 m,19 个受控线圈),见主论文图 1 说明与瑞士等离子体中心官方页面