深度神经网络的最新进展使得解剖分割有了新的方法。例如，利用深度卷积神经网络（CNN）在生物医学图像的解剖分割方面取得了最先进的性能。传统的策略采用标准的编码器-解码器CNN架构，使用带注释的数据集来预测像素级分割。虽然这种方法适用于拓扑在个体间不保持一致的场景，如病变分割，但对于具有规则拓扑结构的解剖结构来说可能不是理想的。深度分割网络通常被训练来最小化像素级损失函数，但这可能不保证解剖合理性，因为它对全局形状和拓扑不敏感。这可能导致出现碎片化结构和拓扑不一致等伪影。
为了缓解这些问题，结合先验知识和形状约束变得至关重要，特别是对于疾病诊断和治疗规划等下游任务。与密集的像素级遮罩相比，统计形状模型或基于图的表示等替代方法提供了一种更自然的方式来包含拓扑约束。图，特别是提供了一种表示标志点、轮廓和表面的方法，可以实现拓扑的正确性。几何深度学习将CNN扩展到非欧几里德域，促进了图数据的判别和生成模型的发展。这些进展使得能够进行准确的预测，并生成与特定分布对齐的真实图结构。
根据上述考虑，引入了新的HybridGNet架构，以在图像特征编码中利用基于标志点的分割的优势。
架构概述如下图所示。
HybridGNet结合了基于图神经网络（GCNN）的生成模型，以创建解剖学上准确的分割结构。它通过标准卷积处理输入图像，并通过对“瓶颈潜在分布”进行采样来生成基于标志点的分割，这是一个包含图像关键信息的紧凑编码表示。从该分布中进行采样使得模型能够根据编码的图像特征创建多样且合理的分割输出。采样后，进行了重塑和图域卷积。
此外，根据局部图像特征可能有助于产生更准确的标志点位置估计的假设，提出了一种名为Image-to-Graph Skip Connection (IGSC)模块。类似于UNet的跳跃连接，IGSC模块结合了图解缩操作，允许特征图从编码器流向解码器，从而增强了模型恢复细节的能力。
下图显示了从研究中选择的样本结果。这些可视化结果提供了HybridGNet和最先进方法之间的比较概览。
这就是HybridGNet的摘要，一种新颖的AI编码器-解码器神经架构，利用标准卷积进行图像特征编码，并利用图卷积神经网络（GCNN）解码解剖结构的合理表示。如果您感兴趣并想更多了解，请随时参考下面引用的链接。