第二部分 – 通过 LLMs 描述进行视觉分类
这是关于提高零样本 CLIP 性能的系列文章的第二部分。在第一部分中，我详细解释了 CLIP 模型的操作方式，并介绍了一种改进其性能的简单方法。这涉及到通过大型语言模型（LLM）生成定制提示来扩展标准提示，如“{class}的图片”。如果您还没有阅读第一部分，可以在这里找到。在本文中，我们将介绍一种相对类似的方法，用于改善零样本 CLIP 性能，并具有高度可解释性。
介绍
CLIP 模型是一个令人印象深刻的零样本预测模型，可以对其未经明确训练的任务进行预测。尽管它具有固有的能力，但存在多种策略可以显著改善其性能。在第一篇文章中，我们已经看到了其中一种策略，然而，尽管提高性能很有价值，但在某些情况下，我们可能愿意做出一些权衡以优先考虑更好的可解释性。在我们的系列文章的第二篇中，我们将探讨一种方法，不仅可以改善零样本 CLIP 模型的性能，而且可以确保其预测结果易于理解和解释。
深度神经网络的可解释性
当今有各种各样的深度学习模型可用于可解释性技术。在之前的一篇文章中，我深入讨论了集成梯度（Integrated Gradients），这是一种告诉我们输入的每个特征如何影响机器学习模型输出的方法，特别是深度神经网络。另一种流行的模型解释方法是基于 Shap 值，其中我们根据合作博弈论的概念，将每个特征对模型输出的贡献进行分配。虽然这些方法是多用途的，并可以应用于任何深度学习模型，但在实施和解释上可能稍微有些具有挑战性。CLIP 模型通过训练将图像和文本特征映射到相同的嵌入空间，提供了基于文本的另一种可解释性方法。这种方法更加用户友好，提供了易于解释的选项，从模型解释的不同角度出发。