广泛认可的是，人工智能（AI）近年来取得了重大进展，取得了显著的成就和突破性结果。然而，AI并不能在所有任务上都取得同样令人印象深刻的结果。例如，虽然AI在某些视觉任务（如人脸识别）中可以超越人类表现，但在图像处理和分类中也可能出现令人困惑的错误，从而凸显出任务的挑战性。因此，研究人员和开发人员对了解这种系统在相关任务中的内部工作方式以及它们如何做出某些决策的兴趣日益浓厚。
众所周知，类似于人脑，AI系统采用了分析和分类图像的策略。然而，这些过程背后的精确机制仍然是个谜，导致形成了一个黑匣子模型。
因此，现代机器学习模型，特别是神经网络，对解释决策的方法的需求越来越大。在这种背景下，归因方法已经流行起来，它们生成热图，指示影响模型决策的单个像素的重要性。然而，最近的研究揭示了这些方法的局限性，因为它们往往只关注图像中最显著的区域，揭示了模型的注视点，但没有阐明模型在这些区域内感知到什么。因此，为了揭示深度神经网络的奥秘，揭示AI系统处理图像的策略，布朗大学Carney大脑科学研究所的研究人员和法国人工和自然智能图卢兹研究所的一些计算机科学家合作开发了CRAFT（概念递归激活因子化解释）。这个创新工具旨在识别AI模型在决策过程中关注的“什么”和“哪里”，从而强调人脑和计算机视觉系统在理解视觉信息方面的差异。该研究还在加拿大举办的著名计算机视觉和模式识别会议2023年上进行了展示。
正如前面提到的，使用归因方法了解AI系统如何使用图像的特定区域做出决策一直是具有挑战性的。然而，仅仅识别有影响力的区域而不澄清为什么这些区域至关重要，无法为人类提供全面的解释。CRAFT通过利用现代机器学习技术来揭示神经网络学习到的复杂多维视觉表示，克服了这一限制。为了提高理解力，研究人员开发了一个用户友好的网站，个人可以轻松地探索和可视化神经网络用于分类对象的基本概念。此外，研究人员还强调，引入CRAFT后，用户不仅可以深入了解AI系统用于构建图像和理解模型在特定区域内感知的概念，还可以了解这些概念的层次排序。这一突破性的进展为揭示AI系统的决策过程和提高其分类结果的透明度提供了宝贵的资源。
从本质上讲，研究人员的工作的关键贡献可以总结为三个主要点。首先，团队设计了一种递归方法来有效识别和分解多层次的概念。这种创新策略使我们能够全面了解神经网络内部组件。其次，引入了一种开创性的方法，通过利用Sobol指数准确估计概念的重要性。最后，实施隐式微分改变了概念归因地图的创建方式，为可视化和理解概念与像素级特征之间的关联提供了一种强大的工具。此外，团队进行了一系列实验评估，以证实他们方法的效率和重要性。结果显示，CRAFT优于所有其他归因方法，巩固了它的显著实用性，并成为进一步研究基于概念的解释方法的基石。
研究人员还强调了理解计算机如何感知图像的重要性。通过深入了解AI系统采用的视觉策略，研究人员在提高基于视觉的工具的准确性和性能方面具有竞争优势。此外，这种理解有助于研究人员了解攻击者如何通过对像素强度进行微妙的变化来欺骗AI系统，而这些变化对人类来说几乎察觉不到，从而对抗敌对和网络攻击具有益处。至于未来的工作，研究人员对计算机视觉系统能够超越人类能力的那一天感到兴奋。在解决癌症诊断、化石识别等未解决的挑战方面，这些系统有潜力改变许多领域。