如今，许多公司正在积极使用人工智能或计划将其纳入未来战略——76% 的企业现在在 IT 预算中将人工智能和机器学习置于其他计划之上，预计到 2027 年，全球人工智能行业将达到 2600 亿美元以上。但随着人工智能和高级分析变得越来越普遍，提高人工智能技术工作方式透明度的需求将变得至关重要。 

在这篇文章中，我们将探讨为什么可解释的 AI (XAI) 对于广泛采用 AI 至关重要、常见的 XAI 方法以及 Google Cloud 如何提供帮助。 

为什么需要解释 ML 模型

人工智能技术面临着我们所说的黑匣子问题。换句话说，您可能知道问题或数据（输入），但无法了解为您提供最终答案（输出）的步骤或过程。这在深度学习和人工神经网络方法中尤其成问题，这些方法包含许多通过模式识别“学习”的隐藏节点层。 

利益相关者通常不愿意信任机器学习项目，因为他们不明白他们在做什么。决策者很难放弃对神秘机器学习模型的控制，尤其是当它负责关键决策时。人工智能系统正在做出具有深远影响的预测，在医疗保健或无人驾驶汽车等某些行业，这可能意味着生与死的区别。 

通常很难获得可以信任模型来做出决策的支持，更不用说做出决策了 更好的 比人类更能做到——尤其是当没有解释如何做出决定时。 AI模型是如何预测或做出决策的？您如何确定算法中没有偏见？是否有足够的透明度和可解释性来信任模型的决策？ 

决策者希望了解基于人工智能的决策背后的原因，因此他们有信心该决策是正确的。事实上，根据普华永道的一项调查，大多数首席执行官 (82%) 认为基于人工智能的决策必须是可解释的才能被信任。

什么是可解释的人工智能？ 

可解释的 AI (XAI) 是一组工具和框架，可用于帮助您了解机器学习模型如何做出决策。这不应该与展示人工智能模型的完整逐步解构相混淆，如果您试图追踪深度学习算法中使用的数百万个参数，这几乎是不可能的。相反，XAI 旨在提供有关模型如何工作的见解，以便人类专家能够理解决策的逻辑。 

当您成功应用 XAI 时，它会带来三个重要的好处： 

1. 增加对机器学习模型的信任
当决策者和其他利益相关者更清楚地了解机器学习模型如何找到其最终输出时，他们更有可能信任基于人工智能的系统。可解释的人工智能工具可用于为模型输出的推理提供清晰易懂的解释。假设您正在使用深度学习模型来分析 X 射线等医学图像，您可以使用可解释的 AI 来生成显着图（即热图），突出显示用于诊断的像素。例如，对骨折进行分类的 ML 模型还会突出显示用于确定患者患有骨折的像素。

2. 改进整体故障排除 
人工智能的可解释性还可以让您调试模型并对模型的运行情况进行故障排除。假设您的模型应该能够识别图像中的动物。随着时间的推移，您会注意到该模型不断将在雪地玩耍的狗的图像分类为狐狸。可解释的人工智能工具可以更轻松地找出此错误不断发生的原因。当您查看用于显示如何进行预测的可解释 AI 模型时，您会发现 ML 模型正在使用图像的背景来区分狗和狐狸。该模型错误地了解到家庭背景是狗，图像中的雪意味着图像中包含狐狸。 

3. 消除偏见和其他潜在的人工智能难题
XAI 对于识别偏差来源也很有用。例如，您可能有一个模型来识别汽车何时非法左转。当您被要求定义图像中违规的原因时，您会发现模型从训练数据中发现了偏差。它不是关注非法左转的车辆，而是关注是否有坑洼。这种影响可能是由倾斜的数据集引起的，该数据集包含在维护不良的道路上拍摄的大量图像，甚至是真实偏差，即在城市资金不足的地区更有可能发放罚单。 

可解释性在机器学习生命周期中处于什么位置？ 

可解释的人工智能不应该是在机器学习工作流程结束时才添加的想法。相反，可解释性应该集成并应用到从数据收集、处理到模型训练、评估和模型服务的每一步。 

您可以通过多种方式将可解释性融入到机器学习生命周期中。这可能意味着使用可解释的人工智能来识别数据集不平衡，确保模型行为满足特定规则和公平性指标，或在本地和全球范围内显示模型行为。例如，如果模型是使用合成数据进行训练的，您需要确保它在使用真实数据时表现相同。或者，正如我们上面讨论的医学成像深度学习模型一样，一种常见的可解释性形式是创建热图来识别用于图像分类的像素。

您可能使用的另一个工具是机器学习模型性能的切片评估。根据我们的人工智能原则，您应该避免制造或强化不公平的偏见。人工智能算法和数据集通常可以反映或强化不公平的偏见。如果您发现某个模型在少数情况下表现不佳，那么解决任何公平性问题就很重要。 

切片评估将允许您探索数据集的不同部分可能如何影响您的结果。对于成像模型，您可能会根据光线不足或曝光过度等因素探索不同的图像。 

我们还建议创建模型卡，它可以帮助解释任何潜在的限制、您必须为性能做出的任何权衡，然后提供一种测试模型功能的方法。 

可解释的人工智能方法

当我们谈论可解释的人工智能方法时，了解全局方法和局部方法之间的区别很重要。

  • 全局方法 是理解模型如何做出决策的整体结构。 

  • 本地方法 是理解模型如何为单个实例做出决策。 

例如，全局方法可能是您查看一个包含所有使用过的功能的表格，并按它们对于做出决策的总体重要性进行排名。特征重要性表通常用于解释结构化数据模型，以帮助人们了解特定输入变量如何影响模型的最终输出。

但是，如何解释模型如何针对个人预测或特定人员做出决策呢？这就是本地方法发挥作用的地方。 

出于本文的目的，我们将根据如何使用本地方法来解释图像数据中的模型预测来介绍本地方法。

以下是最常见的可解释的 AI 本地方法：

  • 本地可解释的模型不可知解释（LIME）  
  • 内核 Shapley 附加解释 (KernalSHAP) 
  • 积分梯度 (IG) 
  • 通过 AI (XRAI) 进行可解释的解释 

两个都 LIME 和 KernalShap 将图像分解为块，从预测中随机采样这些块以创建许多扰动（即更改）的图像。该图像将看起来像原始图像，但图像的某些部分已被清零。然后将扰动的图像输入经过训练的模型并要求其进行预测。 

在下面的示例中，模型将被问到：这张图像是青蛙还是青蛙？