Month: October 2023

将多个专家子网络的输出结合起来进行预测或决策的神经网络模型被称为专家混合（Mixure of Experts, MoE）。当处理复杂且多样化的数据时，该架构特别有用，其中不同的数据子集或方面可能需要专门的模型来有效处理。由于MoE模型可以学习忽略在某些输入上表现不佳的专家的输出，因此它们通常对数据中的离群值或噪声更具鲁棒性。 MoE架构的计算成本可以因模型的具体设计、它所处理任务的复杂性以及用于训练和推理的硬件而有很大的差异。MoE架构可能比传统的神经网络计算成本更高，特别是涉及许多专家和复杂的门控机制时。例如，Switch Transformer-c2048模型具有1.6万亿个参数，为了高效运行需要3.2 TB的加速器内存，这使得它具有挑战性和昂贵。 研究人员在一个名为QMoE的新框架中解决了这个内存问题。它由一个可伸缩的算法组成，可以将万亿参数的MoE精确压缩到每个参数不到1比特。QMoE可以将SwitchTransformer-c2048模型的1.6万亿个参数压缩到不到160 GB，可以在单个GPU上在一天内处理完。这是首次能够通过负担得起的无需重新训练的压缩技术实现对万亿参数MoE的精确子1比特压缩。 通常情况下，这是通过创建某些模型组件的副本来实现的，每个副本只负责处理一部分输入标记。路由器层通常决定相应的输入到组件的分配。量化是目前用于减小模型大小和相应模型权重到较低数值精度的方法。然而，一些MoE模型非常庞大，需要将缩小率显着提高至少四倍才能使它们变得实用。将模型量化至极低精度需要更复杂的数据依赖方法。 与使用全精度（32位或16位）权重和激活值训练神经网络不同，数据依赖的量化方法使用量化后的权重和激活值训练模型。这有助于模型适应低精度数值表示的限制。用于数据依赖量化的流行框架和工具包括TensorFlow，PyTorch和TensorRT，它们提供了内置的量化感知训练和校准支持。 研究人员目前仅考虑了解码操作和具有合理效率的编码矩阵。他们计划将重点放在预训练基础模型的直接压缩上。未来，他们的工作将包括对压缩模型进行专门的下游任务微调。

来自乔治亚理工学院、Mila、蒙特利尔大学和麦吉尔大学的研究人员介绍了一种训练框架和架构，用于建模跨多样化、大规模神经记录的神经人口动力学。该框架会分词处理个体脉冲，以捕捉精细的时间神经活动，并使用交叉注意力和PerceiverIO主干。从七个非人灵长类动物的数据中构建了一个大规模多会话模型，其中包含超过27,000个神经单元和100多小时的记录。该模型展示了对新会话的快速适应性，实现了在不同任务中的少样本表现，展示了对神经数据分析的可扩展方法。 他们的研究介绍了一种可扩展的框架，使用Transformer模型来建模多样化的大规模神经记录中的神经人口动力学。与之前仅处理固定会话和单组神经元的模型不同，该框架可以跨主题和不同数据来源进行训练。利用PerceiverIO和交叉注意力层，它可以有效地表示神经事件，使其能够在新会话中表现出少样本性能。该工作展示了Transformer在神经数据处理中的潜力，并引入了改进计算的高效实现。 机器学习的最新进展突显了类似GPT这样的大规模预训练模型的扩展潜力。在神经科学领域，需要一个基础模型来桥接各种数据集、实验和受试者，以更全面地理解脑功能。POYO是一个框架，可以有效地在各种神经记录会话中进行训练，即使处理不同的神经元集合和没有已知对应关系。它利用独特的分词方案和PerceiverIO架构来建模神经活动，展示其在会话间的可迁移性和大脑解码改进。 该框架使用分词处理多样化记录中的神经活动动态，采用交叉注意力和PerceiverIO架构。在大型灵长类动物数据集上进行训练的大规模多会话模型可以适应无指定神经元对应关系的新会话进行少样本学习。旋转位置嵌入提升了Transformer的注意机制。该方法对神经活动采用5毫秒的时间间隔，并在基准数据集上取得了精细结果。 通过使用该框架，在NLB-Maze数据集上实现了0.8952的R2，展示了神经活动解码的有效性。预训练模型在相同数据集上不需要权重修改即可获得有竞争力的结果，表明其多功能性。还演示了该框架快速适应新会话（即使没有指定神经元对应关系）进行少样本表现的能力。大规模多会话模型在不同任务上展现出有前景的性能，强调了该框架在全面的神经数据分析中的潜力。 总之，一个统一和可扩展的神经人口解码框架提供了对新会话的快速适应性，即使没有指定神经元对应关系，也在不同任务上取得了较强的表现。在非人灵长类动物的数据基础上进行大规模多会话模型训练，展示了该框架在全面神经数据分析上的潜力。该方法为推进神经数据分析提供了一个强大的工具，实现了大规模培训，深入洞察神经人口动力学。