来自乔治亚理工学院、Mila、蒙特利尔大学和麦吉尔大学的研究人员介绍了一种训练框架和架构，用于建模跨多样化、大规模神经记录的神经人口动力学。该框架会分词处理个体脉冲，以捕捉精细的时间神经活动，并使用交叉注意力和PerceiverIO主干。从七个非人灵长类动物的数据中构建了一个大规模多会话模型，其中包含超过27,000个神经单元和100多小时的记录。该模型展示了对新会话的快速适应性，实现了在不同任务中的少样本表现，展示了对神经数据分析的可扩展方法。
他们的研究介绍了一种可扩展的框架，使用Transformer模型来建模多样化的大规模神经记录中的神经人口动力学。与之前仅处理固定会话和单组神经元的模型不同，该框架可以跨主题和不同数据来源进行训练。利用PerceiverIO和交叉注意力层，它可以有效地表示神经事件，使其能够在新会话中表现出少样本性能。该工作展示了Transformer在神经数据处理中的潜力，并引入了改进计算的高效实现。
机器学习的最新进展突显了类似GPT这样的大规模预训练模型的扩展潜力。在神经科学领域，需要一个基础模型来桥接各种数据集、实验和受试者，以更全面地理解脑功能。POYO是一个框架，可以有效地在各种神经记录会话中进行训练，即使处理不同的神经元集合和没有已知对应关系。它利用独特的分词方案和PerceiverIO架构来建模神经活动，展示其在会话间的可迁移性和大脑解码改进。
该框架使用分词处理多样化记录中的神经活动动态，采用交叉注意力和PerceiverIO架构。在大型灵长类动物数据集上进行训练的大规模多会话模型可以适应无指定神经元对应关系的新会话进行少样本学习。旋转位置嵌入提升了Transformer的注意机制。该方法对神经活动采用5毫秒的时间间隔，并在基准数据集上取得了精细结果。
通过使用该框架，在NLB-Maze数据集上实现了0.8952的R2，展示了神经活动解码的有效性。预训练模型在相同数据集上不需要权重修改即可获得有竞争力的结果，表明其多功能性。还演示了该框架快速适应新会话（即使没有指定神经元对应关系）进行少样本表现的能力。大规模多会话模型在不同任务上展现出有前景的性能，强调了该框架在全面的神经数据分析中的潜力。
总之，一个统一和可扩展的神经人口解码框架提供了对新会话的快速适应性，即使没有指定神经元对应关系，也在不同任务上取得了较强的表现。在非人灵长类动物的数据基础上进行大规模多会话模型训练，展示了该框架在全面神经数据分析上的潜力。该方法为推进神经数据分析提供了一个强大的工具，实现了大规模培训，深入洞察神经人口动力学。