图像修复是一门古老的艺术。它是指在图像中移除不需要的对象并填补丢失的像素，使得修复后的图像看起来逼真并且保持原始的上下文。图像修复的应用非常广泛，包括增强图像美感或隐私，通过从图像中消除不需要的对象，改善旧照片或损坏照片的质量和清晰度，通过填补图像中的间隙或孔洞来完整缺失信息，以及通过生成艺术效果来表达创造力或情感。
介绍了一种名为Inst-Inpaint的教学图像修复方法，该方法可以自动根据图像和文本指令来移除不需要的对象。上面的图像展示了使用Inst-Inpaint的示例结果的输入和输出。在这里，使用了最先进的扩散模型进行处理。扩散模型是一类概率生成模型，可以将噪声转化为代表性的数据样本，并且在生成式人工智能中广泛应用于获取高质量的图像。
- 研究人员首先构建了GQA-Inpaint，一个真实世界的图片数据集，用于训练和测试提出的教学图像修复任务的模型。为了创建输入/输出对，他们利用了GQA数据集中的图像和场景图。该方法包括以下步骤：
- 选择感兴趣的对象（要移除的对象）。
- 执行实例分割以定位图像中的对象。
- 然后，应用最先进的图像修复方法来擦除对象。
- 最后，创建基于模板的文本提示来描述移除操作。因此，GQA-Inpaint数据集包含147165个独特的图像和41407个不同的指令。在这个数据集上训练的Inst-Inpaint模型是一种基于条件潜在扩散模型的基于文本的图像修复方法，它不需要任何用户指定的二进制掩码，并且可以在一步中进行对象移除，而无需预测掩码。
需要注意的一个细节是图像沿着x轴被分为三个相等的部分，并命名为“left”、“center”和“right”，使用类似“在桌子上”的自然命名和“位置”来标识图像中的对象。为了比较实验结果，研究人员使用了多种指标，包括一种新颖的基于CLIP的修复评分，来评估GAN和基于扩散的基准模型，并证明了显著的定量和定性改进。
在一个不断演变的数字化领域中，人类创造力和人工智能之间的界限不断模糊，Inst-Inpaint证明了人工智能在图像处理中的变革力量。它为使用文本指令进行图像修复开辟了许多新的途径，再次将人工智能与人类大脑拉近了距离。