自史前时代以来，人们一直使用素描进行交流和记录。在过去的十年中，研究人员在理解如何使用分类和合成的素描方面取得了巨大的进展，以及更新颖的应用，如建模视觉抽象、样式转移和连续笔画拟合。然而，只有基于素描的图像检索（SBIR）及其细粒度对应物（FGSBIR）研究了素描的表现潜力。最近的系统已经成熟，可用于商业应用，这是素描表现力可能产生重大影响的极好证明。
素描非常引人入胜，因为它们自动捕捉微妙和个人的视觉线索。然而，对人类素描的这些内在特质的研究一直局限于图像检索领域。科学家们首次训练系统使用素描的表现力来完成视觉中最基本的任务：检测场景中的物体。最终产品是一个基于素描检测物体的框架，因此可以将注意力集中在一群斑马中的特定“斑马”（例如吃草的斑马）。此外，研究人员要求模型在以下情况下成功：
- 在没有预期结果的情况下进入测试（零射击）。
- 不需要额外的边界框或类标签（如完全监督）。
研究人员进一步规定，基于素描的检测器也以零射击的方式运作，增加了系统的新颖性。在接下来的部分中，他们详细介绍了如何将物体检测从封闭集转换为开放词汇配置。例如，物体检测器使用原型学习而不是分类头，编码查询素描特征作为支持集。然后，在弱监督物体检测（WSOD）环境中，通过所有可想象的类别或实例的原型之间的多类交叉熵损失进行模型训练。物体检测在图像级别上操作，而SBIR是通过对单个对象的素描和照片进行配对训练的。因此，SBIR对象检测器训练需要在对象级别和图像级别特征之间建立桥梁。
研究人员的贡献是：
- 培养人类素描表现力对物体检测的影响。
- 基于素描构建的物体检测器可以理解试图传达的信息。
- 用于传统类别级别和实例级别检测的物体检测器。
- 一种新的提示学习配置，将CLIP和SBIR结合起来生成一个素描感知的检测器，可以在没有边界框注释或类标签的情况下以零射击方式运行。
- 结果优于零射击设置中的SOD和WSOD。
研究人员没有从头开始，而是展示了基础模型（如CLIP）和为基于素描的图像检索（SBIR）构建的现有素描模型之间的直观协同作用，它们已经可以优雅地解决该任务。特别是，他们首先在SBIR模型的素描和照片分支上分别进行单独的提示，然后使用CLIP的泛化能力构建高度可泛化的素描和照片编码器。为了确保检测到的框的区域嵌入与SBIR素描和照片的嵌入匹配，他们设计了一种训练范式来调整学习的编码器以进行项目检测。在工业标准物体检测数据集（包括PASCAL-VOC和MS-COCO）上进行测试时，该框架在零射击设置中的表现优于监督（SOD）和弱监督（WSOD）物体检测器。
总之
为了改进物体检测，研究人员积极倡导人类素描表现力。建议的素描启用物体识别框架是一个实例感知和部件感知的物体检测器，可以理解素描中试图表达的信息。因此，他们设计了一种创新的提示学习设置，将CLIP和SBIR结合起来，教育一个不需要边界框注释或类标签的素描奖励检测器。该检测器还被指定为可以在各种用途中以零射击方式运行。另一方面，SBIR是通过对单个物品的素描和照片进行配对训练的。他们使用数据增强方法来增加对破坏的抵抗力和对词汇外的泛化能力，以帮助弥合物体和图像级别之间的差距。在零射击设置中，所得框架的表现优于监督和弱监督物体检测器。