通过经过实验证实的分析表达式来描述自然界，从引力的基本定律到量子力学等等，这一直是科学成功的标志，尤其是在物理学方面。随着气候变化、聚变和计算生物学等挑战，我们的焦点转向了更多的计算，对于具有较低成本但仍保持物理一致性的简明而坚固的减模型的需求也在增长。科学机器学习是一个新兴领域，有望提供这样的解决方案。本文对最近针对熟悉机器学习或统计学基础的科学家和工程师的数据驱动方程发现方法进行了简要回顾。
动机与历史视角
仅仅良好地拟合数据已被证明是一种短视的努力，正如托勒密的宇宙中心模型曾是最准确的观测模型，直到开普勒的日心说模型出现。因此，将观测结果与基本物理原理相结合在科学中起着重要作用。然而，在物理学中，我们经常忽视我们的世界模型已经是数据驱动的程度。以粒子标准模型为例，该模型包含19个参数，这些参数的数值是通过实验证实的。用于气象学和气候的地球系统模型，虽然在基于流体力学的物理一致核心上运行，但也需要对其敏感参数进行仔细校准以符合观测结果。最后，简化建模正受到聚变和空间天气社区的推崇，并且在将来可能仍然与相关领域保持关联。在生物学和社会科学等领域，一阶方法不太有效，统计系统识别已经发挥了重要作用。
机器学习中有各种方法，可直接从数据预测系统的演变。近年来，深度神经网络在天气预报领域取得了重大进展，正如谷歌DeepMind团队和其他团队所证明的那样。部分原因在于它们可以利用大量可用资源，以及气象数据的普遍可用性和物理数值天气预测模型，该模型通过数据同化在全球范围内插值了这些数据。然而，如果生成数据的条件发生变化（例如气候变化），这种完全数据驱动的模型可能很难泛化。这意味着将这种黑匣子方法应用于气候模拟和其他数据不足的情况可能是可疑的。因此，在本文中，我将强调从数据中提取方程的方法，因为方程更具可解释性，并且更少受过拟合的影响。按照机器学习的术语，我们可以将这些范式称为高偏差低方差。
首先值得一提的方法是由Schmidt和Lipson开展的开创性工作，他们使用遗传编程（GP）进行从数据中提取方程的符号回归。他们从简单的动力系统（如双摆）的轨迹数据中提取了方程。该过程包括生成候选符号函数，推导这些表达式中涉及的偏导数，并将其与从数据中数值估计的偏导数进行比较。重复该过程，直到达到足够的准确性。重要的是，由于有大量的潜在精确的候选表达式，可以选择满足“简洁性”原则的表达式。简洁性以表达式中的项数的倒数来衡量，而预测准确性以仅用于验证的保留实验数据的误差来衡量。这种简洁建模原则构成了方程发现的基础。
稀疏系统识别
非线性动力学的稀疏识别（SINDy）属于概念简单而强大的方法之一。它由Steven L. Brunton的团队与其他团队一起介绍，并附带有详细记录、得到良好支持的代码库和YouTube教程。要获得一些实际的操作经验，可以尝试使用他们的Jupyter笔记本。
我将按照原始SINDy论文描述这种方法。通常，我们有轨迹数据，其中包括诸如x(t)、y(t)、z(t)等坐标。目标是从数据中重构出一阶常微分方程（ODE）：
有限差分法（例如）通常用于计算ODE左侧的导数。由于导数估计容易出错，这会在数据中产生噪音，通常是不希望的。在某些情况下，滤波可能有助于解决这些问题。然后，选择一组单项式（基函数）的库来适应ODE右侧，如图所示：
问题在于，除非我们拥有天文数字的数据量，否则这个任务将是没有希望的，因为许多不同的多项式都可以很好地工作，这将导致过度拟合。幸运的是，这正是稀疏回归的用武之地：关键是惩罚在右侧有太多活跃的基函数。这可以用多种方式完成。原始SINDy所依赖的方法之一称为连续阈值最小二乘法（STLS），可以总结为以下几点：
换句话说，使用标准最小二乘法求解系数，然后顺序消除小系数，同时每次应用最小二乘法。该过程依赖于一个超参数，该参数控制系数的大小。这个参数似乎是任意的，然而，可以进行所谓的派瑞托分析：通过保留一些数据并测试学得的模型在测试集上的表现来确定这个稀疏化超参数。这个系数的合理值对应于学得模型准确性与复杂性（包括多少项）之间曲线的“拐点”，即所谓的派瑞托前沿。或者，一些其他出版物使用信息准则来促进稀疏性，而不是执行上述派瑞托分析。
作为SINDy的最简单应用之一，考虑如何使用STLS成功地从数据中识别洛伦兹63模型：
The STLS方法在应用于大量自由度系统（如偏微分方程）时存在局限性，在这种情况下，可以考虑通过主成分分析（PCA）或非线性自动编码器等进行维度归约。后来，SINDy算法被《PDE-FIND》论文进一步改进，引入了Sequential Threshold Ridge（STRidge）。在后者中，岭回归指的是带有L2惩罚项的回归，在STRidge中与STLS类似，将其与小系数的消除交替进行。这使得从模拟数据中发现了各种标准偏微分方程，如Burgers’方程、Korteweg–De Vries（KdV）方程、Navier Stokes方程、反应扩散方程，甚至经常在科学机器学习中遇到的一个相当特殊的方程Kuramoto — Sivashinksy方程，由于需要直接从数据估计其四阶导数项，通常会有一定难度：
对这个方程的鉴定是直接从以下输入数据进行的（通过数值求解相同方程获得）：
这并不意味着该方法容易出错。实际上，将SINDy应用于现实观测数据的一个重要挑战是，观测数据本身往往是稀疏和嘈杂的，通常在这种情况下鉴定会受到影响。同样的问题也会影响基于符号回归的方法，如遗传规划（GP）。
“弱SINDy”是一种更近期的发展，显著提高了算法对噪声的鲁棒性。这种方法由几位作者独立实现，尤其是由Daniel Messenger、Daniel R. Gurevich和Patrick Reinbold提出。其主要思想是，不是发现PDE的微分形式，而是通过将PDE在一组域上进行积分以及用一些测试函数乘以它来发现其[弱]积分形式。这允许应用分部积分并因此将PDE的响应函数（未知解）中的棘手导数移除，而是将这些导数应用于已知的测试函数。该方法还在由Alves和Fiuza进行的等离子物理方程发现中实施，该方程是从模拟数据中恢复出来的。
SINDy方法的另一个相当明显的局限性是鉴定总是受限于构成基础的项的库，例如多项式。虽然还可以使用其他类型的基函数，如三角函数，但这仍然不够通用。假设PDE的形式是一个有理函数，其中分子和分母都可以是多项式：
这种情况当然可以轻松地使用遗传编程(GP)来处理。但是，SINDy还为这种情况引入了SINDy-PI（并行隐式），并成功地用它来识别描述Belousov-Zhabotinsky反应的PDE，具体可以参考这篇文章。
最后，其他稀疏促进方法，如稀疏贝叶斯回归，也称为相关向量机(RVM)，同样可以使用相同的术语拟合库的方法来从数据中识别方程。这些方法利用边际化和“奥卡姆剃刀”原理，深受统计学家的尊重。虽然我在这里没有涉及这些方法，但可以说，一些作者，如张和林声称在ODE的更健壮的系统识别方面，这种方法甚至已经尝试了学习简单斜压大洋模型的闭包，其中作者认为RVM比STRidge更具鲁棒性。此外，这些方法为所识别方程的估计系数提供了自然的不确定性量化(UQ)。话虽如此，更近期的集成SINDy的发展更具鲁棒性，并提供了UQ，但是它依赖于统计方法——引导聚集（bagging），这在统计和机器学习中也被广泛应用。
物理信息的深度学习识别
文献中引起极大关注的是一种解决PDEs和识别系数的替代方法，即物理信息神经网络（PINNs）。主要思想是使用神经网络对PDE的解进行参数化，并将运动方程或其他类型的基于物理的归纳偏差引入损失函数。损失函数在预定义的所谓“配准点”上进行求值。在执行梯度下降时，调整神经网络的权重并学习解决方案。只需提供初始化和边界条件，这些条件在单独的损失项中受到惩罚。该方法实际上借鉴了基于神经网络的旧的配准方法，而不是基于神经网络。神经网络提供了自动微分的自然方法，使得这种方法非常有吸引力。然而，事实证明，与有限体/元等标准数值方法相比，PINNs在解决正向问题(数值求解PDE)方面不具竞争力，因此作为工具而言，不具备太大的吸引力。
它们变得有趣的地方在于解决逆问题：通过数据估计模型，而不是通过已知模型生成数据。在原始PINNs论文中，通过数据估计纳维-斯托克斯方程的两个未知系数
回顾起来，与像PDE-FIND这样的算法相比，这似乎有些天真，因为已经假设了方程的一般形式。尽管如此，这项工作的一个有趣之处在于算法不需要压力输入，而是假设是不可压缩流动，通过PINN直接恢复出压力的解。
PINN已经应用于各种情况，我想要强调的一个特定应用是太空天气，在这个应用中显示出通过解逆问题Fokker-Planck方程可以估计辐射带中的电子密度。在估计不确定性时，这里采用了集合方法（重新训练神经网络）。最终，为了实现可解释性，对所学习的扩散系数进行多项式展开。将这种方法与直接使用类似SINDy的方法进行比较，也会很有趣，后者还可以提供多项式展开。
术语“物理知情”已经被其他团队采用，有时他们会发明自己的方法，将物理先验引入神经网络，并按照某种吸引人的方式命名他们的方法，如“基于物理的”或“灵感于物理”等等。这些方法有时可以被归类为软约束（惩罚不满足某些方程或对称性的损失）或硬约束（将约束条件实施到神经网络的架构中）。在气候科学等领域中可以找到此类方法的示例。
考虑到神经网络的反向传播提供了一种估计时间和空间导数的替代方法，与这些神经网络插值方法相结合的稀疏回归（SR）或遗传编程（GP）似乎是不可避免的。虽然有许多此类研究，我将突出其中一个，即DeePyMoD，因为它有相对明确的文档和支持的存储库。只要了解了这种方法的工作原理，就可以理解同时或稍后出现的所有其他研究，并以各种方式进行改进。
和促进PDE函数形式的正则化。
DeePyMoD相比于弱SINDy能更好地抵抗噪音，在时空域中仅需要观察点的一小部分，这对于从观测数据中发现方程是一个好消息。例如，许多PDE-FIND能够正确识别的标准偏微分方程也可以被DeePyMoD识别，但只需在少量千点的空间中采样噪音主导的数据。然而，使用神经网络进行这项任务的代价是较长的收敛时间。另一个问题是，有些PDE对于传统的关联方法来说是有问题的，例如Kuramoto-Sivashinsky（KS）方程，由于它的高阶导数。KS方程通常在缺乏弱形式方法的情况下很难从数据中识别出来，特别是在存在噪音的情况下。对于解决这个问题的更多 最新发展，涉及将弱SINDy方法与神经网络关联方法相结合。另一个有趣且尚未深入研究的问题是这些方法受非高斯噪音的普遍影响。
结论
总结一下，方程式发现是基于物理的机器学习的自然选择，正在世界各地的各种团体积极开发中。它在许多领域得到了应用，如流体力学、等离子物理学、气候等等。对于更广泛的概述，着重介绍一些其他方法，请参阅 评论文章。希望读者对这个领域中存在的不同方法有所了解，但我只是浅尝辄止，避免过于技术化。还值得一提的是，还有许多新的基于物理的机器学习方法，例如 神经常微分方程（ODEs）。
参考文献
- Camps-Valls, G. 等。从数据中发现因果关系和方程式。《物理报告》1044, 1–68 (2023)。
- Lam, R. 等。学习技术娴熟的VoAGI范围全球天气预报。《科学》0, eadi2336 (2023)。
- Mehta, P. 等。物理学家的高偏差、低方差的机器学习简介。《物理报告》810, 1–124 (2019)。
- Schmidt, M. & Lipson, H. 从实验数据中提取自由形式自然定律。《科学》324, 81–85 (2009)。
- Udrescu, S.-M. & Tegmark, M. AI Feynman: 一种基于物理的符号回归方法。《科学进展》6, eaay2631 (2020)。
- Ross, A., Li, Z., Perezhogin, P., Fernandez-Granda, C. & Zanna, L. 在理想模型中测试机器学习海洋亚网参数化。《地球系统模型进展杂志》15, e2022MS003258 (2023)。
- Brunton, S. L., Proctor, J. L. & Kutz, J. N. 通过稀疏非线性动力系统识别发现控制方程。《国家科学院院刊》113, 3932–3937 (2016)。
- Mangan, N. M., Kutz, J. N., Brunton, S. L. & Proctor, J. L. 通过稀疏回归和信息准则进行动力系统的模型选择。《皇家学会A: 数学、物理和工程学会议录》473, 20170009 (2017)。
- Rudy, S. H., Brunton, S. L., Proctor, J. L. & Kutz, J. N. 数据驱动的偏微分方程发现。《科学进展》3, e1602614 (2017)。
- Messenger, D. A. & Bortz, D. M. 弱SINDy与偏微分方程。《计算物理学杂志》443, 110525 (2021)。
- Gurevich, D. R., Reinbold, P. A. K. & Grigoriev, R. O. 非线性PDE模型的强大和优化稀疏回归。《混沌：非线性科学跨学科杂志》29, 103113 (2019)。
- Reinbold, P. A. K., Kageorge, L. M., Schatz, M. F. & Grigoriev, R. O. 通过物理约束的符号回归方法从嘈杂、不完整、高维实验数据中进行健壮学习。《自然通信》12, 3219 (2021)。
- Alves, E. P. & Fiuza, F. 从全动力学模拟中发现研究等离子体物理模型的数据驱动方法。《物理评论研究》4, 033192 (2022)。
- Zhang, S. & Lin, G. 带有误差范围的鲁棒数据驱动的物理定律发现。《皇家学会A: 数学、物理和工程学会议录》474, 20180305 (2018)。
- Zanna, L. & Bolton, T. 数据驱动的海洋中尺度闭合方程的方程式发现。《地球物理研究快报》47, e2020GL088376 (2020)。
- Fasel, U., Kutz, J. N., Brunton, B. W. & Brunton, S. L. Ensemble-SINDy: 低数据、高噪音极限中的鲁棒稀疏模型发现，配合主动学习和控制。《皇家学会A: 数学、物理和工程学会议录》478, 20210904 (2022)。
- Raissi, M., Perdikaris, P. & Karniadakis, G. E. 受物理规则启发的神经网络：解决涉及非线性偏微分方程的正向和反向问题的深度学习框架。《计算物理学杂志》378, 686–707 (2019)。
- Markidis, S. 能否用基于物理的深度学习取代传