构建与人类视觉系统类似的人工系统，是计算机视觉的一个重要目标。最近在人口脑活动测量方面的进展，以及深度神经网络模型的实现和设计的改进，使得可以直接比较人工网络的结构特征与生物大脑潜在表示的架构特征，揭示了这些系统的工作方式的关键细节。从脑活动中重建视觉图像，比如通过功能磁共振成像（fMRI）检测到的脑活动，就是其中的一个应用之一。这是一个有趣但困难的问题，因为潜在的脑表示大部分是未知的，而且用于脑数据的样本量通常很小。
近年来，学者们使用深度学习模型和技术，如生成对抗网络（GAN）和自监督学习，来应对这一挑战。然而，这些研究要求对fMRI实验中使用的特定刺激进行微调，或者从头开始训练新的生成模型。这些尝试在像素级和语义保真度方面表现出很大但受限的性能，部分原因是神经科学数据量较小，部分原因是构建复杂生成模型的多个困难。
扩散模型，尤其是计算资源消耗较少的潜在扩散模型，是最近的一个GAN替代方案。然而，由于LDMs仍然相对较新，很难完全理解它们的内部工作原理。
大阪大学和CiNet的研究团队使用一种名为稳定扩散的LDM来从fMRI信号重建视觉图像，试图解决上述问题。他们提出了一个简单的框架，可以在不需要训练或微调复杂深度学习模型的情况下，重建具有高语义保真度的高分辨率图像。
作者在这项研究中使用的数据集是自然场景数据集（NSD），该数据集收集了来自fMRI扫描仪的数据，每个受试者在30-40个会话期间观看了10,000张图片的三次重复。
首先，他们使用潜在扩散模型从文本中创建图像。在上图（顶部）中，z被定义为由模型通过c进行修改的生成的潜在表示，c被定义为文本的潜在表示（描述图像），zc被定义为由自编码器压缩的原始图像的潜在表示。
为了分析解码模型，作者按照以下三个步骤进行操作（上图，中部）。首先，他们从早期视觉皮层（蓝色）的fMRI信号中预测出呈现图像X的潜在表示z。然后，将z经过解码器处理，产生粗糙的解码图像Xz，然后将其编码并通过扩散过程。最后，将噪声图像添加到从高级视觉皮层（黄色）的fMRI信号中得到的解码潜在文本表示c中，并进行去噪处理，得到zc。从zc出发，解码模块产生最终重建的图像Xzc。需要强调的是，这个过程所需的唯一训练是线性映射fMRI信号到LDM组件zc、z和c。
从zc、z和c出发，作者进行了编码分析，通过将它们映射到脑活动来解释LDM的内部操作（上图，底部）。从表示中重建图像的结果如下所示。
使用简单的 z 重新创建的图像具有与原始图像的视觉一致性，但其语义价值丧失了。另一方面，仅使用 c 部分重建的图像产生了具有很强语义保真度但视觉不一致的图像。通过使用 zc 恢复的图像能够产生具有很高语义保真度的高分辨率图像，从而证明了该方法的有效性。
对大脑的最终分析揭示了关于 DM 模型的新信息。在大脑的后部，即视觉皮层中，所有三个组件都取得了很高的预测性能。特别是，z 在早期视觉皮层（位于视觉皮层后部）中提供了强大的预测性能。同时，它在上部视觉皮层（即视觉皮层的前部）中表现出很强的预测值，但在其他区域的值较小。另一方面，在上部视觉皮层中，c 提供了最佳的预测性能。
查看论文和项目页面。所有关于这项研究的荣誉归功于该项目的研究人员。还请不要忘记加入我们的26k+ ML SubReddit、Discord 频道和电子邮件通讯，我们在这里分享最新的人工智能研究新闻、酷炫的人工智能项目等等。
通过 Tensorleap 的可解释性平台揭示深度学习的秘密
本文首次出现在 MarkTechPost 上，介绍了这项通过读取脑电波重新创建图像的大脑人工智能研究。