通过识别和分离不同的组织、器官或感兴趣区域，医学图像分割对于研究医学图片至关重要。临床医生可以使用准确的分割来帮助他们定位和准确确定疾病区域，以获得更精确的诊断和治疗。此外，通过对医学图片进行定量和定性分析，提供了对各种组织或器官的形态、结构和功能的全面洞察，从而实现了对疾病的研究。由于医学成像的特殊性，例如各种模态的广泛应用、复杂的组织和器官结构以及缺乏注释数据，目前大多数现有方法都局限于特定的模态、器官或病理。
由于这种限制，算法很难推广和修改以在不同的临床环境中使用。最近，朝着大规模模型的推进在人工智能社区中引起了激动。像ChatGPT2、ERNIE Bot 3、DINO、SegGPT和SAM这样的通用AI模型的发展使得可以使用单一模型进行各种任务。使用SAM，这个最新的大规模视觉模型，用户可以通过交互式点击、绘制边界框或使用口头提示来创建特定感兴趣区域的遮罩。人们对它在各个领域的零样本和小样本能力已经付出了相当多的关注。
一些工作也集中在将SAM的零样本能力应用于医学成像领域。然而，SAM难以推广到多模态和多对象的医学数据集，导致不同数据集之间的分割性能不稳定。这是因为自然图像和医学图像之间存在相当大的领域差距。这种差距可以归因于获取数据的方法：由于其特定的临床目的，医学图片是使用特定的协议和扫描仪获取的，并以各种模态（电子、激光、X射线、超声、核物理和磁共振）显示。因此，这些图像与真实图像有很大的偏差，因为它们依赖于各种基于物理学特征和能源源的特性。
如图1所示，自然图像和医学图像在像素强度、颜色、纹理和其他分布特征方面有明显的差异。由于SAM仅在自然图片上进行训练，它需要更多关于医学成像的专业信息，因此不能立即应用于医疗领域。由于高昂的注释成本和不一致的注释质量，向SAM提供医学信息是具有挑战性的。医学数据的准备需要专业知识，而这些数据的质量在机构和临床试验之间存在很大差异。由于这些困难，医学和自然图像的数量差异很大。
图1中的条形图比较了公开可用的自然图像数据集和医学图像数据集的数据量。例如，作为医学领域最大的公共分割数据集，Totalsegmentor与Open Image v6和SA-1B相比也存在显著差距。在本研究中，四川大学和上海人工智能实验室的研究人员提出了SAM-Med2D，这是关于将SAM应用于医学2D图像的最全面的研究，旨在将SAM从自然图像转移到医学图像领域。这将为医学图像分析领域的研究人员提供基准模型和评估框架，以进行探索和改进。