迈向通用化学过程操作员
介绍
过程开发、设计、优化和控制是化学和过程工程中的主要职责。具体而言，范围包括通过实验室实验找到最佳配方或适当的设备配置或过程参数，以最大化某些目标（例如产量或吞吐量），同时尊重潜在的约束条件（例如输入浓度、流量、反应器容积或溶剂沸点）。通过自动化这些任务，例如通过实验室机器人，可以节省大量人力。
最近在强化学习（RL）方面取得的进展表明，智能体可以掌握复杂任务并玩各种游戏，甚至可以发现更高效的数学过程，例如矩阵运算。通过使用来自实验或数值模拟的动力学参数，智能体可以找到最佳配置和合成配方。然而，与凸优化相比，算法/模型可以直接用于过程控制。此类实验可以在计算机上或直接在实验室中进行，具体取决于方法的样本效率。从长远来看，这将（部分地）自动化过程开发。本文的目的是以对乙酰氨基酚使用近端策略优化（PPO）的例子来说明这一点。
问题定义
我们有一个计算机程序，一个所谓的智能体，我们称之为通用化学过程操作员。这个操作员位于一个可以进行化学操作的环境中，即可以执行操作。这些操作包括给组分A配量、增加/减少输入/输出流量、增加/减少温度等等。当智能体在某些状态下执行操作，例如某些组分的浓度，它会转移到新的状态。
对乙酰氨基酚（PC）是从p-氨基酚（AP）和乙酸酐（AA）合成的，如图1a所示。在已知的动力学下，可以对这个过程进行建模并代表环境，例如在图中所示的连续搅拌槽反应器（CSTR）中…