Tag: Machine learning

来自莱斯大学和亚马逊网络服务的研究团队开发了一个名为GEMINI的分布式训练系统，旨在改进大型机器学习模型训练中的故障恢复。系统处理了使用CPU内存进行检查点的挑战，从而确保更高的可用性并最小化对训练流量的干扰。GEMINI相对现有解决方案显示出显著改进，使其成为大规模深度学习模型训练的有希望的进展。 GEMINI引入了一种分布式训练系统来改进大型模型训练的恢复过程。以往的解决方案受到带宽和存储限制的限制，这影响了检查点频率和模型准确性，尽管深度学习框架如PyTorch和TensorFlow提供检查点接口。 GEMINI的方法优化了检查点放置和流量调度，使其在这一领域具有重要意义。 深度学习模型，特别是大型模型，以其出色的性能而闻名。然而，由于复杂性和时间消耗，大型模型的训练经常需要改进。当前的大型模型训练故障恢复解决方案受到远程存储中带宽有限的限制，这导致了显著的恢复成本。GEMINI引入了创新的CPU内存技术，使快速故障恢复成为可能。 GEMINI用于最优检查点放置策略以最大化恢复概率，并使用流量调度算法以减少干扰。评估是在NVIDIA GPU上进行的，但适用于其他加速器，如AWS Trainium。 GEMINI显着提高了故障恢复能力，超过现有解决方案的13倍。评估结果证实了它在减少时间浪费同时不影响训练吞吐量方面的有效性。 GEMINI的可扩展性在不同的故障频率和训练规模下得到证明，展示了其在大规模分布式训练中的潜力。 GEMINI中的流量交织算法对训练吞吐量产生积极影响，进一步提高系统的效率。 现有的大型模型训练故障恢复解决方案受远程存储带宽的限制，无法实现高检查点频率，导致显著浪费时间。该研究侧重于使用固定计算资源的静态和同步训练，忽略了弹性和异步训练方法的考虑。当前研究没有涉及用于存储检查点历史的CPU内存大小的问题，除了故障恢复之外的其他目的。 总之，GEMINI是一个高效且可扩展的分布式训练系统，通过将检查点存储到CPU内存和先进的放置策略，提供快速可靠的故障恢复。其高检查点频率有助于减少时间浪费，而不影响训练吞吐量，使其成为在GPU集群上进行大规模分布式训练的绝佳解决方案。

近年来，人工智能在文本到图像生成方面取得了显著进展。将书面描述转化为视觉表达具有许多应用，从创作内容到帮助盲人和讲故事。研究人员面临两个重要障碍，即缺乏高质量数据和与从互联网上提取的数据集相关的版权问题。 在最近的研究中，一个研究团队提出了建立一个遵循创意共享许可（CC）的图像数据集，并使用该数据集来训练能够胜过稳定扩散2（SD2）的开放式扩散模型的想法。为了做到这一点，需要克服以下两个主要障碍。 缺乏标题：虽然高分辨率的CC照片是开放许可的，但它们经常缺乏文本描述，即文本到图像生成模型训练所必需的标题。在缺少标题的情况下，模型很难理解和生成基于文本输入的视觉内容。 CC照片的稀缺性：与像LAION这样的较大专有数据集相比，CC照片虽然是重要资源，但却更为稀缺。这种稀缺性提出了一个问题，即是否有足够的数据可以成功训练高质量的模型。 该团队使用了迁移学习技术，并使用预训练模型创建了出色的合成标题，并将它们与精心选择的CC照片进行匹配。这种方法简单且利用了模型从照片或其他输入生成文本的能力。他们通过编制一个照片和虚构标题的数据集来实现这一目标，该数据集可以用来训练将文字转化为视觉内容的生成模型。 为了应对第二个挑战，该团队创建了一个既节约计算资源又节约数据的训练方案。与SD2模型训练所需的最初利用了大约7000万个示例相比，只需要约3%的数据即可达到相同的质量。这表明存在足够的CC照片可用于高质量模型的有效训练。 该团队使用数据和有效的训练程序训练了几个文本到图像模型。这些模型共同被称为CommonCanvas家族，它们标志着生成模型领域的重大进展。它们可以生成与SD2在质量上相媲美的视觉输出。 CommonCanvas家族中最大的模型是在比LAION数据集小不到3%的CC数据集上训练的，其性能在人类评估中可与SD2相媲美。尽管受到数据集大小限制和使用人工生成的标题的影响，但该方法在生成高质量结果方面是有效的。 该团队总结了他们的主要贡献： 团队使用一种名为”电报”的迁移学习方法为初始时没有标题的创作共享（CC）照片生成了出色的标题。 他们提供了一个名为CommonCatalog的数据集，其中包括约7000万张在开放许可下发布的CC照片。 CommonCatalog数据集被用来训练一系列潜在扩散模型(LDM)。这些模型共同被称为CommonCanvas，在定性和定量上与SD2基线相比具有竞争力。 该研究应用了许多训练优化技术，使得SD2基线模型的训练速度快了近三倍。 为了促进合作和更多的研究，该团队在GitHub上免费提供了训练好的CommonCanvas模型、CC照片、人工生成的标题和CommonCatalog数据集。

将多个专家子网络的输出结合起来进行预测或决策的神经网络模型被称为专家混合（Mixure of Experts, MoE）。当处理复杂且多样化的数据时，该架构特别有用，其中不同的数据子集或方面可能需要专门的模型来有效处理。由于MoE模型可以学习忽略在某些输入上表现不佳的专家的输出，因此它们通常对数据中的离群值或噪声更具鲁棒性。 MoE架构的计算成本可以因模型的具体设计、它所处理任务的复杂性以及用于训练和推理的硬件而有很大的差异。MoE架构可能比传统的神经网络计算成本更高，特别是涉及许多专家和复杂的门控机制时。例如，Switch Transformer-c2048模型具有1.6万亿个参数，为了高效运行需要3.2 TB的加速器内存，这使得它具有挑战性和昂贵。 研究人员在一个名为QMoE的新框架中解决了这个内存问题。它由一个可伸缩的算法组成，可以将万亿参数的MoE精确压缩到每个参数不到1比特。QMoE可以将SwitchTransformer-c2048模型的1.6万亿个参数压缩到不到160 GB，可以在单个GPU上在一天内处理完。这是首次能够通过负担得起的无需重新训练的压缩技术实现对万亿参数MoE的精确子1比特压缩。 通常情况下，这是通过创建某些模型组件的副本来实现的，每个副本只负责处理一部分输入标记。路由器层通常决定相应的输入到组件的分配。量化是目前用于减小模型大小和相应模型权重到较低数值精度的方法。然而，一些MoE模型非常庞大，需要将缩小率显着提高至少四倍才能使它们变得实用。将模型量化至极低精度需要更复杂的数据依赖方法。 与使用全精度（32位或16位）权重和激活值训练神经网络不同，数据依赖的量化方法使用量化后的权重和激活值训练模型。这有助于模型适应低精度数值表示的限制。用于数据依赖量化的流行框架和工具包括TensorFlow，PyTorch和TensorRT，它们提供了内置的量化感知训练和校准支持。 研究人员目前仅考虑了解码操作和具有合理效率的编码矩阵。他们计划将重点放在预训练基础模型的直接压缩上。未来，他们的工作将包括对压缩模型进行专门的下游任务微调。

来自乔治亚理工学院、Mila、蒙特利尔大学和麦吉尔大学的研究人员介绍了一种训练框架和架构，用于建模跨多样化、大规模神经记录的神经人口动力学。该框架会分词处理个体脉冲，以捕捉精细的时间神经活动，并使用交叉注意力和PerceiverIO主干。从七个非人灵长类动物的数据中构建了一个大规模多会话模型，其中包含超过27,000个神经单元和100多小时的记录。该模型展示了对新会话的快速适应性，实现了在不同任务中的少样本表现，展示了对神经数据分析的可扩展方法。 他们的研究介绍了一种可扩展的框架，使用Transformer模型来建模多样化的大规模神经记录中的神经人口动力学。与之前仅处理固定会话和单组神经元的模型不同，该框架可以跨主题和不同数据来源进行训练。利用PerceiverIO和交叉注意力层，它可以有效地表示神经事件，使其能够在新会话中表现出少样本性能。该工作展示了Transformer在神经数据处理中的潜力，并引入了改进计算的高效实现。 机器学习的最新进展突显了类似GPT这样的大规模预训练模型的扩展潜力。在神经科学领域，需要一个基础模型来桥接各种数据集、实验和受试者，以更全面地理解脑功能。POYO是一个框架，可以有效地在各种神经记录会话中进行训练，即使处理不同的神经元集合和没有已知对应关系。它利用独特的分词方案和PerceiverIO架构来建模神经活动，展示其在会话间的可迁移性和大脑解码改进。 该框架使用分词处理多样化记录中的神经活动动态，采用交叉注意力和PerceiverIO架构。在大型灵长类动物数据集上进行训练的大规模多会话模型可以适应无指定神经元对应关系的新会话进行少样本学习。旋转位置嵌入提升了Transformer的注意机制。该方法对神经活动采用5毫秒的时间间隔，并在基准数据集上取得了精细结果。 通过使用该框架，在NLB-Maze数据集上实现了0.8952的R2，展示了神经活动解码的有效性。预训练模型在相同数据集上不需要权重修改即可获得有竞争力的结果，表明其多功能性。还演示了该框架快速适应新会话（即使没有指定神经元对应关系）进行少样本表现的能力。大规模多会话模型在不同任务上展现出有前景的性能，强调了该框架在全面的神经数据分析中的潜力。 总之，一个统一和可扩展的神经人口解码框架提供了对新会话的快速适应性，即使没有指定神经元对应关系，也在不同任务上取得了较强的表现。在非人灵长类动物的数据基础上进行大规模多会话模型训练，展示了该框架在全面神经数据分析上的潜力。该方法为推进神经数据分析提供了一个强大的工具，实现了大规模培训，深入洞察神经人口动力学。