由于最近在机器学习（ML）领域的技术进步，ML模型现在正在被用于各个领域，以提高性能并消除对人力劳动的需求。这些领域可以是简单的，如帮助作者和诗人改善其写作风格，也可以是复杂的，如蛋白质结构预测。此外，在许多关键行业（如医学诊断、信用卡欺诈检测等）中，ML模型的流行度越来越高，对错误的容忍度也很低。因此，人们需要更深入地理解这些算法及其工作原理。毕竟，为了学者能设计更强大的模型并修复现有模型中的偏见和其他问题，了解ML模型如何进行预测的更多知识至关重要。
这就是可解释（IAI）和可解释（XAI）人工智能技术的作用所在，也是理解它们之间区别的必要性变得更加明显的原因。尽管这两者之间的区别对于学者来说并不总是清晰的，甚至有时在提到ML方法时，可解释性和解释性这两个术语有时被用作同义词。但由于IAI和XAI模型在ML领域的日益普及，区分它们变得至关重要，以帮助组织选择最佳的使用策略。
简而言之，可解释的AI模型可以仅通过查看其模型摘要和参数而无需任何额外的工具或方法就可以被人类轻松理解。换句话说，可以说IAI模型提供了自己的解释。另一方面，解释性AI模型是非常复杂的深度学习模型，人类无法在没有额外方法的帮助下理解。这就是为什么解释性AI模型可以清楚地说明为什么作出了某个决策，但不能说明它是如何作出这个决策的原因。在本文的其余部分，我们将深入探讨可解释性和解释性的概念，并通过示例加深对它们的理解。
1. 可解释的机器学习
我们认为，只要能够理解其含义，即其因果关系可以明确确定，任何事物都可以解释。例如，如果有人在晚餐后连续吃太多巧克力，他们总是会睡不好觉。这种情况可以被解释。在ML领域中，如果人们可以根据其参数自己理解它，那么该模型被认为是可解释的。通过可解释的AI模型，人们可以轻松理解模型是如何得出特定解决方案的，但无法理解得出该结果的标准是否合理。决策树和线性回归是可解释模型的几个例子。让我们通过一个例子更好地说明可解释性：
考虑一个银行使用训练好的决策树模型来确定是否批准贷款申请。在做出决策时，会考虑申请人的年龄、月收入、是否有其他待处理的贷款以及其他变量。为了理解为什么做出了特定的决策，我们可以轻松地沿着树的节点向下遍历，并根据决策标准，理解为什么最终结果是什么。例如，一个决策标准可以指定，如果一个非学生的申请人的月收入低于3000美元，不会批准贷款申请。然而，我们无法理解为什么在这种情况下对非学生申请人执行3000美元的最低收入要求。要为提供的输出生成，组织需要解释不同因素（包括权重、特征等），以更好地理解其模型如何生成预测。但这仅限于模型相对简单的情况。线性回归模型和决策树都具有少量参数。随着模型越来越复杂，我们无法再以这种方式理解它们。
2. 解释性机器学习
解释性AI模型的内部工作过程对于人类来说过于复杂，以至于无法理解它们如何影响最终的预测。ML算法又被称为“黑盒子”模型，其中模型特征被视为输入，最终产生的预测结果是输出。为了理解这些模型的工作原理，人类需要额外的方法来研究这些“黑盒子”系统。这种模型的一个例子是由许多决策树组成的随机森林分类器。在该模型中，确定最终预测时会考虑到每棵树的预测。当考虑到基于神经网络的模型（如LogoNet）时，这种复杂性只会增加。随着这些模型复杂性的增加，人类仅仅通过查看模型权重就无法理解模型。
如前所述，人类需要额外的方法来理解复杂算法生成预测的过程。研究人员利用不同的方法来找到输入数据和模型生成的预测之间的关联，这有助于理解机器学习模型的行为。这些与模型无关的方法包括部分依赖图、SHapley加性解释（SHAP）依赖图和替代模型。还会使用一些强调不同特征重要性的方法，这些方法确定每个属性在预测目标变量中的重要程度。得分越高意味着该特征对模型更关键，对预测有重大影响。
然而，仍然存在一个问题，即为什么需要区分机器学习模型的可解释性和可解释性。从上述论点可以清楚地看出，有些模型比其他模型更容易解释。简单来说，如果一个模型比另一个模型更容易让人理解它的预测过程，那么这个模型就更具解释性。通常情况下，较简单的模型更容易解释，而较复杂的神经网络模型通常具有更高的准确性。因此，高度的可解释性往往以准确性的降低为代价。例如，使用逻辑回归进行图像识别会得到较差的结果。另一方面，如果公司希望实现高性能但仍需要了解模型的行为，模型的可解释性就变得更加重要。
因此，在启动新的机器学习项目之前，企业必须考虑是否需要可解释性。当数据集很大且数据以图像或文本形式存在时，神经网络可以以高性能实现客户的目标。在这种情况下，当需要复杂的方法来最大化性能时，数据科学家更加注重模型的可解释性而非可解释性。因此，了解模型的可解释性和可解释性之间的区别，并知道何时偏好其中之一是非常重要的。