可控核聚变，又有新突破了。
长期以来，核聚变一直受着一个“幽灵”的困扰——等离子体不稳定性问题。
而最近，普林斯顿团队用AI提前300毫秒预测了核聚变等离子不稳定态，这个时间，就足够约束磁场调整应对等离子体的逃逸！
从此，科学家防止可控核聚变的中断，产生足够能量所需的高功率聚变反应，也就更有可能了。
这项重大突破，成果已经登上Nature。
论文地址：https://www.nature.com/articles/s41586-024-07024-9
一、可控核聚变重大难题，被AI突破
几十年来，科学家一直努力在地球上实现核聚变。
因为人类社会未来面临的能源枯竭问题，很可能会被可控核聚变解决。它有望为我们提供无穷无尽的清洁能源，甚至彻底改变我们应对气候危机的方式。
通过强制原本相互排斥的两个原子融合在一起，就能实现聚变。
聚变的过程与当前广泛使用的核裂变过程正好相反，后者依赖于分裂原子
聚变发生在两个原子——通常是轻原子，如氢——合并成一个更重的原子的过程中，释放出巨大的能量。
这个过程是太阳的能量来源，也间接支撑了地球上的生命。然而，让两个原子实现融合非常困难，因为需要极大的压力和能量，才能来克服它们之间的相互排斥力。
太阳之所以能实现聚变反应，靠的是它巨大的引力和核心处的极高压力。而为了在地球上模拟这一过程，科学家们采用了极度炽热的等离子体和强大的磁场。
在托卡马克（外形像甜甜圈）中，磁场会努力控制温度超过1亿摄氏度的等离子体，这比太阳中心的温度还要高
然而，核聚变过程中，专家们常常只能实现短暂的聚变能量维持，过程中存在诸多不稳定性。
这是因为，在实现可核聚变能的过程中，最关键的步骤之一，就是输入氢变体燃料，在托卡马克中将其升温，产生类似于“汤”的等离子体。
但等离子体很难控制——它极易“撕裂”，并且逃逸出用来约束它的强大磁场。
幸运的是，最近普林斯顿大学和普林斯顿等离子体物理实验室的研究人员在Nature上报告，他们发现了一种方法，可以利用AI预测这种潜在的不稳定性，并且实时防止实验中断。
这个团队，由工程师、物理学家、数据科学家组成。
在圣地亚哥的DIII-D国家聚变设施进行的实验中，研究团队发现，他们的AI控制系统能够在提前300毫秒时，就预测到等离子体的潜在撕裂。
而如果没有这种干预，聚变反应很可能就会突然中断！
研究人员利用AI预测并避免了撕裂不稳定性的形成（左图），这种不稳定性可能会迅速导致等离子体破坏和聚变反应终止
至此，长期以来阻碍核聚变发展的等离子体不稳定性问题，终于被人类攻克了。
这项发现，也极大提升了科学家们的信心。
普林斯顿大学的机械与航空航天工程系教授、研究报告作者之一的Egemen Kolemen为我们解释了，为什么这项发现如此意义重大。
中断和不稳定性，是可控核聚变的重大障碍之一，我们都希望任何反应堆都能持续稳定运行多年。现在开发出这样的解决方案，大大增强了我们的信心，现在我们有可能无故障地运行这些装置了。
二、AI成功实现等离子体状态控制策略
AI是如何实现的？
研究人员展示的模型显示，它可以仅通过分析过去的实验数据，而非依赖物理模型，就能预测出“撕裂模式不稳定性”（也即潜在的等离子体不稳定性）。
而且，它最多能提前300毫秒就预测出来！
对人类来说，这段时间可能只是眨一次眼，但对于AI控制器来说，就已经足以让它调整操作参数，避免等离子体磁场的内部撕裂，从而维持其稳定状态，防止反应提前结束。
在这个过程中，AI成功地实时在真实反应器中，实现了一个稳定、高能量等离子体状态的控制策略。
这种方法，比原有的方法更为动态。
论文一作、韩国中央大学物理学助理教授Jaemin Seo解释说：“以往的研究通常专注于在等离子体中出现这些撕裂不稳定性后，抑制或减轻其影响。但我们的方法能够在它们形成之前就预测到，并且避免这些不稳定性。”
1. AI+等离子体物理学=？
研究人员会想到AI，也是因为撕裂模式不稳定性发生得实在太突然、太快了！
要在几毫秒内反应过来，迅速处理新数据、作出响应，唯有AI才能做到。
然而，开发一个有效的AI控制系统并非易事。
更何况，在托卡马克环境下，实验时间极其宝贵，风险又极高。
在论文合著者Azarakhsh Jalalvand看来，教AI算法控制托卡马克中的聚变反应，就像教人开飞机一样。
你不仅要给AI钥匙，让它自己摸索，还要让它在复杂的飞行模拟器中反复练习，直到掌握了足够的技能。
2. 深度神经网络
因此，普林斯顿团队采用了DIII-D托卡马克过去实验的数据，构建了一个深度神经网络，这个网络能够根据实时的等离子体特征，预测未来撕裂模式不稳定性的发生概率。
利用这个神经网络，研究人员训练了一个强化学习算法。
这个算法就像一个正在学习的飞行员，通过在模拟环境中的试错，学习控制等离子体的各种策略，找出哪些是有效的，哪些是无效的。
Jalalvand解释说，他们并没有向强化学习模型传授聚变反应的复杂物理知识，而是告诉它：你的目标是维持高功率反应、避免撕裂模式不稳定性，并指出可以调整的参数。
在无数次的模拟聚变实验中，模型尝试寻找方法来维持高功率水平，同时避免不稳定性。
随着时间的推移，算法自己就学会了在避免不稳定性的同时，达到高功率反应的最优路径！
合著者SangKyeun Kim说：“我们能看到模型的意图背后的逻辑。有时模型想要的改变太快了，我们就需要让模型的行为更平滑、更稳定。作为人类，我们需要在AI的意图和托卡马克的实际容忍度之间，找到一个平衡。”
当研究人员对AI控制器的能力有了足够信心后，他们就在D-III D托卡马克的实际聚变实验中进行了测试，观察控制器如何实时调整特定参数来避免不稳定性的发生，包括改变等离子体形状和输入反应的束流强度。
结果显示，AI果然能够成功预测出不稳定性！
这样，研究人员就不再被动，不需要等到等离子体失控已经发生后，再采取措施了。
三、用于控制的强化学习系统设计
根据论文的介绍，研究人员设计的AI控制器，能够根据监测到的等离子体状态自动调节控制器的工作，从而在确保等离子体稳定性的同时，尽可能提升其压力。
图1：系统设计框架
图1a和1b：实验中的一个典型等离子体样本，以及研究所选用的诊断工具和控制设备。其中，在q = 2磁通面上，可能会发生2/1模式撕裂不稳定现象。
图1c：能够处理测量信号，并生成对应的执行器指令的控制系统架构。
图1d：基于DNN的AI控制器能够根据经过训练的策略，决定整体束流功率和等离子体形状的高级控制命令。等离子体控制系统（PCS）则负责计算磁线圈的控制信号和各个束流的功率，确保既满足AI控制器设定的高级控制需求，也遵守用户设定的限制条件。
1. 系统设计
为了高效产生聚变能源，关键在于保持等离子体的高压力，同时避免引发可能导致设备突然停止运行的不稳定现象。
然而，当通过中性束等方式加热等离子体以提高其压力时，就会遇到一个阈值（图2a中的黑线）。
超过这个阈值，等离子体就会出现撕裂不稳定现象，这可能很快导致等离子体破裂（图2b和2c）。
值得注意的是，这个稳定性阈值会随着等离子体状态的变化而变化，而且在某些情况下，降低压力也可能引发不稳定现象。
正如图2中的蓝线所示，通过根据等离子体的状态调整控制器的工作，就可以在不引发不稳定现象的前提下，追求更高的等离子体压力。
图2：AI撕裂规避系统对托卡马克的控制和等离子体的反应
实际上，我们可以把它理解成一个“避障问题”，其中的障碍物便是迫使实验终止的风险因素。
具体到核聚变本身，就是控制托卡马克装置，使等离子体沿着一个既保持高压力又不超出稳定极限的狭窄路径运行。
为了实现这一目标，研究人员通过强化学习方法训练了一个Actor模型，设计了一个奖励函数R来衡量等离子体在可接受的撕裂风险下能达到多高的压力。
这里的β_N代表等离子体压力的归一化值，T表示撕裂风险，而k则是人为设定的一个安全阈值。更具体的，β_N和T是AI控制器采取行动后25毫秒的预测结果。
根据这一预测，如果撕裂风险低于我们设定的阈值，Actor模型将根据等离子体的压力获得正向奖励；反之，则获得负向奖励。
为了根据方程（1）获得更高的奖励，Actor首先需要通过其控制动作来提升β_N的值。
但是，β_N的增加可能会导致等离子体变得不稳定，并最终使得撕裂指标（T）超过安全阈值（k），这会导致奖励减少。特别地，当T超出k时，奖励会急剧减少。
因此，控制智能体会优先考虑保持T在安全阈值k以下，而不是单纯追求提高β_N。
通过充分的强化学习训练，Actor最终可以找到一种平衡策略，既能追求等离子体的高压力，又能确保撕裂指标保持在安全范围内。
这种策略允许托卡马克在放电过程中沿着一个精确规划的路径运行，如图2d所示。
图2：AI撕裂规避系统对托卡马克的控制和等离子体的反应
由于撕裂的发生在很大程度上取决于其空间信息和梯度，因此观测变量被设定为以磁通坐标映射的一维动力学和磁性剖面。
具体来说，观测的是电子密度、电子温度、离子旋转、安全系数和等离子体压力的曲线。
2. 实验结果
图3b中的黑线展示了一个因撕裂不稳定而导致的等离子体中断的例子。
在这次放电中，使用传统反馈控制维持了特定的参数水平（β_N = 2.3）。然而，在2.6秒时，出现了严重的撕裂不稳定现象，导致参数急剧下降，最终在3.1秒时引发了等离子体中断。
图3b中的蓝线，是在AI控制下的束流功率和等离子体的形状。图3c和图3d分别展示了具体控制过程中，等离子体形状和束流功率的调整情况。
这次放电期间，AI控制器根据等离子体的实时数据，制定出束流功率和形状的调整指令，由等离子体控制系统（PCS）转化为具体的操作，如调整磁线圈电流和精确控制八束束流的功率。
图3e中的蓝线，是对AI控制放电的后续估计。可以看到，整个过程中撕裂倾向被有效控制在预定阈值以下，完全符合预期。
这次实验不仅证明了相比传统控制方法，AI控制能够更有效降低撕裂风险，还展示了其在整体性能上相比参考实验的提升，体现了AI适应性控制的优势。
图3：基于AI能的撕裂规避实验
图4a展示了应用不同设置阈值的控制器进行的三场实验，分别为0.2、0.5和0.7。
其中，当阈值设为0.5和0.7时，等离子体能够稳定持续，直到实验结束都没有出现破坏性的不稳定现象。
图4b至4d展示了三次实验后分析得到的撕裂倾向情况。图中的背景色显示了在每个时间点不同束流功率下的预测撕裂倾向，实际使用的束流功率则由黑线标出，虚线表示不同阈值下的撕裂倾向等级。
可以看到，不同的阈值设置会让AI控制展现出不同的行为特征。
图4b的分析显示，撕裂预测模型能在不稳定发生前300毫秒预警，控制器也试图进一步减少束流功率。
在图4c中，设置了k = 0.5的AI控制器通过提前采取措施，主动避免触及阈值，以应对不稳定性的警告。
由于奖励机制是根据控制器行动后25毫秒的撕裂倾向来计算的，所以经过训练的控制器会在警告发生前的数十毫秒采取行动。
图4：不同阈值设置的对比实验
四、点亮未来之路
研究人员指出，虽然这项工作成功证明了AI在有效控制聚变反应方面的潜力，但这只是推动聚变研究领域的第一步。
首先，他们计划在DIII-D上收集更多证据，证明AI控制器的实际效果，然后将其应用范围扩大到其他的托卡马克装置。
“我们有充分的证据显示这个控制器在DIII-D上表现出色，但我们需要更多数据来证明它能够应对多种不同的情况，”一作Seo表示。“我们的目标是开发出更具通用性的解决方案。”
第二个研究方向是扩展这个算法，使AI控制器能够同时处理更多的不稳定问题。
曾在Kolemen团队做研究生，目前是PPPL博士后研究员，也是共同作者的Ricardo Shousha解释说：“你可以想象，有一个综合的奖励函数，它调整多个参数，以此来同时控制多种不稳定性。”
在开发更优秀的AI控制器以控制聚变反应的过程中，研究人员们还可能对等离子体底层物理有了更深入的理解。
通过分析AI控制器在维持等离子体稳定时所作出的决策，可以发现它们往往与传统方法大相径庭。
这表明，AI不仅能够成为控制核聚变反应的有效工具，还能作为一种新的教学资源，帮助我们从不同角度理解和探索聚变科学。
五、团队介绍
Jaemin Seo
一作Jaemin Seo，是专注于在KSTAR和DIII-D项目中应用机器学习技术进行等离子体预测与控制的博士后研究员。
Jaemin在首尔国立大学核工程系获得了博士学位。期间，他创新性地利用强化学习方法，为KSTAR设计了一种新型的等离子体控制算法。
目前，他的研究重点转向了在DIII-D项目中探索撕裂模式的预测与控制技术。
此外，Jaemin还在研究一种快速的神经网络模型，旨在实时重建等离子体的动力学平衡状态，这对于提高控制算法的效率和精确度具有重要意义。
Egemen Kolemen
通讯作者Egemen Kolemen，是普林斯顿大学机械与航空航天工程的副教授，并在Andlinger能源与环境中心以及普林斯顿等离子体物理实验室（PPPL）担任职位。
作为可持续能源项目的负责人，他因其在聚变工程领域的卓越贡献获得了David J. Rose优秀奖，并被选为ITER科学家研究员。
Kolemen教授的研究致力于将工程技术与物理分析相结合，旨在开发经济效益高的聚变反应堆。目前，他正带领团队在KSTAR、NSTX-U 和 DIII-D项目中进行机器学习、实时监测与控制方面的研究。
参考资料：
https://edition.cnn.com/2024/02/08/climate/nuclear-fusion-energy-milestone-climate/index.html
https://www.nature.com/articles/s41586-024-07024-9
https://engineering.princeton.edu/news/2024/02/21/engineers-use-ai-wrangle-fusion-power-grid
本文来自微信公众号：新智元 （ID：AI_era），作者：新智元，编辑：Aeneas、好困