开放词汇物体检测是各种实际计算机视觉任务的关键方面。然而，检测训练数据的有限可用性和预训练模型的脆弱性经常导致表现不佳和可扩展性问题。
为了解决这个挑战，DeepMind研究团队在他们的最新论文“Scaling Open-Vocabulary Object Detection”中介绍了OWLv2模型。这种优化的架构提高了训练效率，并采用了OWL-ST自训练方法，大大增强了检测性能，并在开放词汇检测任务中取得了最先进的结果。
这项工作的主要目标是优化标签空间、注释过滤和开放词汇检测自训练方法的训练效率，最终在有限的标记数据下实现稳健且可扩展的开放词汇性能。
所提出的自训练方法包括三个关键步骤：
- 团队使用现有的开放词汇检测器对WebLI数据集进行开放框检测。
- 他们利用OWL-ViT CLIP-L/14对所有WebLI图像进行边界框伪注释。
- 他们使用人工注释的检测数据对经过训练的模型进行微调，进一步改进其性能。
值得注意的是，研究人员采用了OWL-ViT架构的变体来训练更有效的检测器。该架构利用对比训练的图像-文本模型来初始化图像和文本编码器，而检测头部则是随机初始化的。
在训练阶段，团队使用相同的损失函数，并从OWL-ViT架构中添加“伪负样本”来增强查询，以优化训练效率，最大限度地利用可用的标记图像。
他们还结合了先前提出的大规模Transformer训练方法，进一步提高了训练效率。结果，OWLv2模型将训练FLOPS降低了约50%，训练吞吐量提高了2倍，相比原始的OWL-ViT模型。
团队在实证研究中将他们提出的方法与先前最先进的开放词汇检测器进行了比较。OWL-ST技术将LVIS罕见类别的平均准确率（AP）从31.2%提高到44.6%。此外，将OWL-ST自训练方法与OWLv2架构结合起来，实现了新的最先进性能。
总体而言，本文提出的OWL-ST自训练方法通过利用大规模网络数据的弱监督，显著提高了检测性能，实现了面向开放世界的规模化训练。这种方法解决了标记检测数据稀缺性带来的局限，并展示了以可扩展的方式实现稳健的开放词汇物体检测的潜力。