Tag: Deep Learning

为了实现最佳性能准确性，了解代理在训练过程中是否在正确或首选的轨道上至关重要。这可以通过在强化学习中为代理提供奖励或使用评估指标来判断最佳策略来实现。因此，在训练先进的智能代理时，能够检测到这种成功行为变得至关重要。这就是成功检测器的作用，它们可以用来分类代理的行为是否成功。先前的研究表明，开发特定领域的成功检测器相对比较容易，而开发更通用的成功检测器则更加困难。这是因为定义大多数实际任务的成功是相当具有挑战性的，因为它常常是主观的。例如，一幅由人工智能生成的艺术作品可能会让某些人着迷，但对整个观众来说可能并非如此。 在过去的几年里，研究人员提出了不同的方法来开发成功检测器，其中之一是使用偏好数据进行奖励建模。然而，这些模型存在一定的缺陷，因为它们只在固定的任务集和环境条件下表现出可观的性能，这些任务和环境条件都是在偏好注释的训练数据中观察到的。因此，为了确保泛化性能，需要更多的注释来覆盖各种领域，这是一项非常费时费力的任务。另一方面，当涉及到同时使用视觉和语言作为输入的模型训练时，可泛化的成功检测应该确保在语言和视觉上的变化中都能给出准确的度量，以完成指定的任务。现有的模型通常只针对固定条件和任务进行训练，因此无法适应这种变化。此外，适应新的条件通常需要收集新的带注释的数据集并重新训练模型，这并不总是可行的。 在解决这个问题的过程中，Alphabet子公司DeepMind的研究人员团队开发了一种训练稳健成功检测器的方法，可以抵御语言规范和感知条件的变化。他们通过利用大规模预训练的视觉语言模型（如Flamingo）和人类奖励注释来实现这一目标。研究基于研究人员的观察，即对Flamingo进行大量多样化语言和视觉数据的预训练将导致训练更稳健的成功检测器。研究人员声称他们最重要的贡献是将可泛化的成功检测任务重新定义为视觉问答（VQA）问题，称为SuccessVQA。这种方法将任务定义为一个简单的是/否问题，并使用一个统一的架构，该架构只包括定义状态环境的短视频剪辑和描述所需行为的一些文本。 DeepMind团队还证明了通过使用人类注释来微调Flamingo可以实现在三个主要领域的可泛化成功检测。这些领域包括家庭模拟中的交互式自然语言代理、现实世界中的机器人操作和野外自我中心人类视频。SuccessVQA任务公式的通用性使得研究人员可以对来自不同领域的各种任务使用相同的架构和训练机制。此外，使用像Flamingo这样的预训练视觉语言模型使得充分利用在大型多模态数据集上的预训练优势变得相当容易。团队认为这使得在语言和视觉变化方面实现了泛化。 为了评估他们对成功检测的重新定义，研究人员进行了几个实验，涵盖了未见过的语言和视觉变化。这些实验揭示了预训练的视觉语言模型在大多数分布内任务上具有可比性的性能，并在分布外场景中明显优于任务特定的奖励模型。调查还揭示了这些成功检测器能够在语言和视觉上对未见过的变化进行零样本泛化，而现有的奖励模型则无法。尽管DeepMind研究人员提出的这种新方法具有显著的性能，但在与机器人环境相关的任务中仍然存在某些缺点。研究人员表示，他们未来的工作将涉及在这个领域做出更多的改进。DeepMind希望研究社区将他们的初步工作视为实现成功检测和奖励建模方面更多进展的基石。

蛋白质是细胞的能量，在各种应用中都起着重要作用，包括材料和治疗。它们由一条氨基酸链组成，折叠成一定的形状。由于低成本测序技术的发展，近年来发现了大量的新型蛋白质序列。由于对新型蛋白质序列的功能注释仍然昂贵且耗时，因此需要准确有效的基于计算的蛋白质功能注释方法来弥合当前的序列-功能差距。 许多数据驱动的方法依赖于学习蛋白质结构的表示，因为许多蛋白质功能受到它们折叠方式的控制。然后，这些表示可以应用于蛋白质设计、结构分类、模型质量评估和功能预测等任务。 由于实验蛋白质结构鉴定的困难，已发表的蛋白质结构数量比其他机器学习应用领域的数据集数量少几个数量级。例如，蛋白质数据银行有182K个经实验证实的结构，而Pfam中有47M个蛋白质序列和ImageNet中有10M个注释图片。一些研究利用丰富的无标签蛋白质序列数据来开发适当的现有蛋白质表示，以弥合这种表征差距。许多研究人员已经利用自监督学习在数百万个序列上预训练蛋白质编码器。 准确的基于深度学习的蛋白质结构预测技术的最新发展使得能够有效自信地预测许多蛋白质序列的结构成为可能。然而，这些技术没有特别捕捉或使用关于蛋白质结构的信息，而这些信息已知决定蛋白质的功能。已经提出了许多基于结构的蛋白质编码器来更好地利用结构信息。不幸的是，这些模型尚未明确解决模拟蛋白质结构中至关重要的边缘之间的相互作用问题。此外，由于实验确定的蛋白质结构的匮乏，直到最近才进行了相对较少的工作，以创建利用无标签3D结构的预训练技术。 受到这一进展的启发，他们创建了一种可应用于各种属性预测应用的蛋白质编码器，并对最可行的蛋白质结构进行了预训练。他们提出了一种简单而高效的基于结构的编码器，称为GeomEtry-Aware关系图神经网络，它在编码空间信息后，在蛋白质残基图上进行关系传递。他们提出了一种稀疏边缘传递技术，以改进蛋白质结构编码器，这是第一个在蛋白质结构编码的GNN上实现边缘级消息传递的尝试。他们的想法受到Evoformer中三角形注意力设计的启发。 他们还提供了一种基于众所周知的对比学习框架的几何预训练方法，以学习蛋白质结构编码器。他们提出了创新的增强函数，增强来自同一蛋白质的亚结构获取表示之间的相似性，同时减小来自不同蛋白质的亚结构之间的相似性，以找到在蛋白质中同时出现的生理相关的蛋白质亚结构。他们同时提出了一套基于自预测的简单基线。 通过将他们的预训练方法与几个下游属性预测任务进行比较，他们为预训练蛋白质结构表示奠定了坚实的基础。这些预训练问题包括对各种几何或物理化学属性（如残基种类、欧氏距离和二面角）的屏蔽预测。使用各种基准测试，例如酶委员会编号预测、基因本体术语预测、折叠分类和反应分类，显示在监督环境中，具有边缘消息传递功能的GearNet在大多数任务上始终优于现有蛋白质编码器。 此外，使用建议的预训练策略，他们的模型在少于一百万个样本的训练下，获得了与甚至优于以百万或十亿的数据集为基础预训练的最先进序列编码器相当或更好的结果。代码库在Github上公开可用。它使用PyTorch和Torch Drug编写。

几十年来，基于化学结构预测分子的化学、宏观或生物性质的任务一直是一个关键的科学研究问题。由于近年来技术的显著进步，许多机器学习算法已被用于发现化学结构与这些分子特性之间的相关性。此外，深度学习的出现标志着引入了活性预测模型，这些模型用于在去除具有不良特征的分子后对剩余分子进行生物测试排序。这些基于深度学习的活性预测模型是计算药物发现行业的主要工具，它们可以与自然语言处理中的大型语言模型和计算机视觉中的图像分类模型进行比较。这些基于深度学习的活性预测模型利用了各种低级化学结构描述，包括化学指纹、描述符、分子图、SMILES字符串表示或其组合。 尽管这些架构表现出色，但它们的进展并不像视觉和语言领域那样具有革命性。通常，使用来自生物实验或“生物检测”的分子对和活性标签来训练活性预测模型。由于标注训练数据（也称为生物活性）的过程非常耗时和劳动密集，研究人员急切地寻找能够以较少数据点高效训练活性预测模型的方法。此外，当前的活性预测算法还不能够使用关于活性预测任务的全面信息，这主要是因为这些模型需要从它们所训练或微调的生物检测或活性预测任务中获得测量数据。因此，当前的活性预测模型无法进行零样本活性预测，并且在少样本情况下的预测准确性较差。 由于其被报道具有零样本和少样本能力，研究人员已经转向各种科学语言模型来进行低数据任务。但是，当涉及到活性预测时，这些模型在预测质量方面明显不足。在解决这个问题的过程中，来自奥地利林茨约翰内斯·开普勒大学机器学习系的一组杰出研究人员发现，使用化学数据库作为训练或预训练数据，并选择一个高效的分子编码器，可以提高活性预测的效果。为了解决这个问题，他们提出了一种名为对比语言-生物检测-分子预训练（CLAMP）的新型活性预测架构，该架构可以根据预测任务的文本描述进行条件化。这种模块化架构由一个单独的分子编码器和一个单独的语言编码器组成，这两个编码器在这两个数据模态之间进行对比性预训练。研究人员还提出了一种对训练数据中包含的化学数据库中的信息进行对比性预训练的目标。这些数据中包含了比生物医学文本中的化学结构多几个数量级的化学结构。 如前所述，CLAMP使用可训练的文本编码器创建生物检测嵌入和可训练的分子编码器创建分子嵌入。假设这些嵌入已进行层归一化。奥地利研究人员提出的方法还包括一个评分函数，当一个分子在某个生物检测上活跃时提供高值，而在不活跃时提供低值。此外，对比学习策略使模型能够进行零样本迁移学习，简而言之，为未见过的生物检测产生有见地的预测。根据研究人员进行的多个实验评估显示，他们的方法在少样本学习基准和药物发现中的零样本问题上显著改善了预测性能，并产生了可迁移的表示。研究人员认为他们模型的模块化架构和预训练目标是其出色性能的主要原因。 需要记住的是，尽管CLAMP表现出色，但仍有改进的空间。许多影响生物检测结果的因素，如化学剂量，未被考虑在内。此外，某些不正确的预测可能由于语法不一致和否定引起。尽管如此，对比学习方法CLAMP在几个大型数据集上展示了在零样本预测药物发现任务中的最佳性能。