基于概念的模型的标签高效方法
来自于CIKM会议上的AIMLAI研讨会论文：“现在你看见我了（CME）：基于概念的模型提取”（GitHub）
TL;DR
问题 — 深度神经网络模型是黑盒，无法直接解释。因此，很难建立对这些模型的信任。现有的方法，比如概念瓶颈模型，使得这些模型更具可解释性，但是需要高昂的注释成本来注释底层概念。
关键创新 — 一种弱监督方式生成基于概念的模型的方法，因此需要更少的注释。
解决方案 — 我们的基于概念的模型提取（CME）框架，能够从预训练的普通卷积神经网络（CNN）中以半监督的方式提取基于概念的模型，同时保持最终任务的性能。
概念瓶颈模型（CBMs）
近年来，可解释人工智能（XAI）领域[1]对概念瓶颈模型（CBM）方法[2]产生了浓厚的兴趣。这些方法引入了一种创新的模型架构，其中输入图像经过两个不同的阶段处理：概念编码和概念处理。
在概念编码阶段，从高维输入数据中提取概念信息。随后，在概念处理阶段，使用这些提取的概念信息来生成所需的输出任务标签。CBMs的一个显著特点是它们依赖于语义明确的概念表示，作为中间可解释的表示，用于下游任务的预测，如下图所示：
如上所示，CBM模型通过任务损失和概念损失的组合进行训练，以确保准确的任务标签预测，同时确保准确的中间概念预测。重要的是，CBMs提高了模型的透明度，因为底层概念表示提供了解释和更好理解底层模型行为的方式。
概念瓶颈模型提供了一种通过概念将现有领域知识编码到模型中的新型可解释型CNN。
总体而言，CBMs作为一种重要的创新，使我们更接近透明和可信赖的模型。
挑战：CBMs的概念注释成本高
不幸的是，CBMs在训练过程中需要大量的概念注释。
目前，CBM方法要求对所有训练样本进行明确的任务标签和概念标签的注释。因此，对于一个包含N个样本和C个概念的数据集，注释成本从N个注释（每个样本一个任务标签）增加到N*(C+1)个注释（每个样本一个任务标签，每个概念一个概念标签）。在实践中，这可能很快变得难以控制，特别是对于具有大量概念和训练样本的数据集。
例如，对于一个包含50个概念的包含1万张图像的数据集，注释成本将增加50*1万=50万个标签，即额外增加50万个注释。
不幸的是，概念瓶颈模型需要大量的概念注释进行训练。
利用带有CME的半监督概念模型
CME依赖于[3]中强调的类似观察结果，即通常情况下，原始CNN模型在隐藏空间中保留了大量与概念相关的信息，这些信息可以在不增加额外注释成本的情况下用于概念信息挖掘。重要的是，这项工作考虑了底层概念未知的情况，并且必须通过无监督方式从模型的隐藏空间中提取这些概念。
通过CME，我们利用上述观察结果，并考虑到我们对底层概念有一定的了解，但是我们只有每个概念的少量样本注释。类似于[3]，CME依赖于给定的预训练原始CNN和少量概念注释，以半监督方式提取进一步的概念注释，如下所示：
如上所示，CME以事后方式使用预训练模型的隐藏空间提取概念表示。以下给出更多细节。
概念编码器训练：与CBM的情况不同，我们不是从原始数据上从头开始训练概念编码器，而是以半监督方式设置概念编码器模型的训练，使用原始CNN的隐藏空间：
- 首先，我们预先指定一组从原始CNN中用于概念提取的层L。这可以是所有层，也可以是最后几层，具体取决于可用的计算能力。
- 接下来，对于每个概念，我们在L中的每个层的隐藏空间上训练一个单独的模型，以从该层的隐藏空间预测该概念的值。
- 然后，我们选择精度最高的模型和相应的层作为预测该概念的“最佳”模型和层。
- 因此，在对概念i进行预测时，我们首先检索该概念最佳层的隐藏空间表示，然后将其通过相应的预测模型进行推断。
总体而言，概念编码器函数可以总结如下（假设总共有k个概念）：
- 在上述方程中，LHS的p-hat表示概念编码器函数
- gᵢ表示在不同层的隐藏空间上训练的从隐藏空间到概念的模型，其中i表示概念索引，范围从1到k。在实践中，这些模型可以非常简单，例如线性回归器或梯度提升分类器。
- f(x)表示原始原始CNN的子模型，提取了特定层的输入的隐藏表示
- 上述两种情况中，上标lʲ指定这两个模型所操作的“最佳”层
概念处理器训练：在CME中，概念处理器模型的训练通过使用任务标签作为输出，概念编码器预测作为输入来设置。重要的是，这些模型在更紧凑的输入表示上操作，因此可以直接用可解释的模型（如决策树或逻辑回归模型）表示。
CME实验和结果
我们对合成数据集（dSprites和shapes3d）和具有挑战性的真实数据集（CUB）进行的实验表明，CME模型：
- 在许多情况下，实现与CBM相当的高概念预测准确性，即使是对于与最终任务无关的概念：
- 允许人类对概念进行干预，即通过修复选择的小组概念来快速提高模型性能：
- 通过直接绘制概念处理器模型，解释模型的决策过程，使从业者能够理解模型的决策过程：
- 通过分析模型层间概念的隐藏空间，帮助理解模型对概念的处理：
通过在弱监督领域中定义基于概念的模型，我们可以开发出更加节省标签的基于概念的模型。
主要观点
通过利用预训练的香草深度神经网络，我们可以以远低于标准CBM方法的注释成本获得概念注释和基于概念的模型。
此外，这不仅仅适用于与最终任务高度相关的概念，而在某些情况下也适用于与最终任务无关的概念。
参考文献
[1] Chris Molnar. 可解释的机器学习。https://christophm.github.io/interpretable-ml-book/
[2] Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Emma Pierson, Been Kim, and Percy Liang. 概念瓶颈模型。在机器学习国际会议上，页面5338–5348。PMLR（2020）。
[3] Amirata Ghorbani, James Wexler, James Zou, and Been Kim. 迈向自动概念解释。在神经信息处理系统的进展中，32。