可解释人工智能（XAI）综述：从模型解释到数据洞察
可解释人工智能（XAI）综述：从模型解释到数据洞察
可解释人工智能（XAI）是当前人工智能领域的重要研究方向，旨在提高人工智能系统的透明度和可解释性。本文从数据挖掘的角度系统性回顾了XAI的作用，主要涉及三个主题领域：解释模型行为、评估数据影响和提炼可操作洞察。
1. 介绍
本研究从数据挖掘的角度系统性回顾了可解释人工智能（XAI）的作用，主要涉及三个主题领域：解释模型行为、评估数据影响和提炼可操作洞察。解释模型行为关注揭示深度神经网络的决策过程，增加人工智能系统的透明度和信任度；评估数据影响则关注个体数据样本如何影响模型决策和泛化性能，检测可能导致结果偏斜的数据异常；提炼可操作洞察旨在发现与社群价值观相一致并促进科学创新的新洞察，将XAI技术应用于实际应用中。本研究对上述三个目的进行了XAI方法的深入分析，突出了当前的能力、实际用途和需要改进的领域，为将XAI更深入地融入数据挖掘实践中，营造一个更透明、更负责任和以用户为中心的人工智能环境奠定了基础。
图1 可解释性AI作为一种用于解释、影响和洞察的数据挖掘方法概述
2. 解释：深度模型的特征属性与推理过程
深度模型解释涉及使用特征归因来评估每个输入对模型输出产生的影响，并检查推理过程以理解模型内的决策路径。
2.1 特征属性作为模型解释的特征重要性评估
特征属性作为模型解释的特征重要性评估的方法包括基于扰动的算法、基于分区的算法、激活/基于注意力的方法以及代理可解释模型。其中，基于分区的算法通过特征归因实现，计算模型输出相对于输入的梯度，表示其对模型预测的敏感性；激活/基于注意力的方法通过注意力机制提高模型的解释性，突出预测的相关区域，展示影响模型结果的重要图像区域；代理可解释模型使用简单的代理来模拟复杂深度神经网络模型的决策边界，包括全局代理和局部代理。
图3 视觉和NLP模型中常用的特征归因方法的可视化：(a)-(d)微调为鸟类分类的ViT-base模型和其衍生模型；(e)在IMDb电影评论上微调的BERT模型。
图4 全球解释性和局部解释性代理模型的示例，包括全球和局部的全球代理模型和局部代理模型。
2.2 推理过程作为模型解释
为了理解模型内部决策过程，有以下几种方法：
- 可视化中间表示：通过可视化深度学习模型中的中间特征，可以揭示模型如何处理信息。网络切片评估深度视觉表示的可解释性，反卷积网络及相关方法通过重建特征映射到像素空间来解释层。
- 可视化推理逻辑：决策树及其集成模型可以揭示深度神经网络的决策逻辑，通过将复杂推理转化为一系列简单、逻辑决策，并利用特征属性将神经网络转化为可理解的规则或路径。
- 作为决策规则的反事实例子：通过确定模型预测所需的输入数据的最小变化量，提供对模型决策边界的明确洞察。这种方法将因果推断观点纳入反事实推理，探究模型预测的因果机制，并揭示模型的弱点。
- 原型作为决策规则：从训练数据中挖掘原型是一种方法，用于提炼和解释深度学习模型的决策。原型可以提供分类预测的视觉解释，增强模型的解释性。
- 概念激活向量和衍生概念：概念激活向量（CAVs）在神经网络中提供可解释的维度，代表抽象的“概念”。TCAV是一种定量方法，用于评估特定概念对模型预测的影响。最近的发展引入了可逆CAVs和Text2Concept扩展了CAV框架到NLP领域。此外，概念激活区域（CARs）使用一组CAV来定义DNN模型中的决策边界。
图5 使用基于树/森林的代理进行特征重要性和推理逻辑的可视化展示
2.3 总结与讨论
总之，XAI技术可以从特征归属或推理过程角度解释模型决策。本节将这些方法的流程映射到数据挖掘领域，并简要讨论。
在深度神经网络解释中，数据获取与收集是关键，包括表格、文本和图像数据。数据准备和转换方法对解释深度神经网络至关重要，如LIME和G-LIME生成数据扰动，特征剥夺将输入特征设置为预定基线，SHAP遍历所有组合特征子集。数据建模和分析方法不同，LIME和G-LIME针对扰动数据进行可解释模型的拟合，主要用于局部特征重要性推断。决策树和相关的非线性基于规则的模型提供了全面的全局解释。特征剥夺评估特征省略的影响，SHAP使用博弈论方法，量化每个特征的边际贡献。集成梯度计算特征影响的路径积分以进行澄清。SmoothGrad对多个噪声输入梯度进行平均以获得稳定解释。反事实或概念激活等方法使用梯度探索来揭示DNN决策边界。深度泰勒分解追溯神经元输出到输入信号以确定特征相关性，促进模型解释的深入分析。
3. 影响因素：训练样本的数据估值与异常检测
3.1 样本估值作为模型解释
样本贡献型方法是一种独特的可解释性技术，通过确定单个训练示例对模型决策的影响来解释深度模型。这些方法包括基于梯度的估值方法、基于重采样的估值方法和估值中的游戏理论方法。基于梯度的估值方法使用影响函数来衡量模型对训练数据边缘变化预测的敏感性，但计算代价高。基于重采样的估值方法如LOO和Jackknife重采样评估单个数据点对预测模型的贡献，但处理大规模数据集时计算效率较低。估值中的游戏理论方法如夏普利值、贝塔夏普利值和巴尔赞夫值提供了一种稳健的框架，用于估计单个训练样本对模型预测的贡献。
图6 评估训练样本的影响：留一法（LOO）重抽样与影响函数
3.2 样本异常作为模型解释
硬样本挖掘、标签错误检测和数据集调试是机器学习中的重要策略，用于解决数据集中的各种问题，以提高模型的性能。硬样本挖掘通过调整样本权重来增强模型的学习过程，标签错误检测关注误标样本对模型训练过程的影响，数据集调试则重点解决缺失值、异常值和噪声数据等问题。这些策略在计算机视觉、主动学习、图学习和信息检索等领域发挥着作用，展示了机器学习在丰富数据科学领域学习范式方面的广泛性和适用性。
图7 在CIFAR-10的训练过程中，经历过遗忘事件的样本和从未忘记的样本
3.3 总结和讨论
XAI技术能够量化训练样本对模型决策的影响，适用于各种数据类型，如表格、文本和图像。在数据估值和异常检测领域，XAI方法提供了全面的框架，如影响函数、TracIn、Leave-One-Out（LOO）、Jackknife和Shapley估值等。在数据准备和转换阶段，各种异常解释器应用预处理技术准备数据，如Smirnov等人生成图像辅助嵌入，O2u-Net使用振荡训练方法捕获训练损失，Jia等人打乱标签并跟踪迭代训练损失，TAPUDD从深度神经网络模型中提取热图，PaLM使用决策树节点划分数据集。在数据建模与分析中，XAI被用于揭示训练数据对预测模型的影响。在结果报告与可视化方面，XAI工具的结果报告和可视化方式多种多样，如影响函数计算单个训练样本的影响，TracIn量化正负训练影响，LOO技术通过显示预测偏移来显示影响，Jackknife和Shapley估值分配表示影响大小的数值。
图8 通过提供独特的见解和工具来确保机器学习管道中的数据完整性，用于训练动态和误标记样本检测
4. 洞察：从数据中提取模式和知识发现
XAI算法能够提取易读的见解，主要得益于识别和解释复杂多维或多模式数据中的模式、相关性和异常。目前已有两组努力，一组关注社会价值观，另一组则聚焦于科学发现的进步。
4.1 社会价值观作为模型解释
在社会价值观方面，XAI旨在提高算法和模型对决策的可解释性和可信度，从而促进社会选择，最终提高社会公平性、道德性、问责制和透明度。XAI对于改善机器学习模型的偏见至关重要，可以通过Counterfactual Fairness方法证明自动化决策的公平性，并提供透明度以阐明深度神经网络的逻辑，为公平人工智能应用奠定基础。在数字伦理方面，XAI中的反事实推理研究警示了误用社会分类的风险，并强调在公平和透明度原则下谨慎发展。在系统问责制方面，人工智能的问责制对于确保公平、合法和与社会一致的决策至关重要。在决策透明性方面，XAI在各个领域都取得了进步，满足了人工智能系统对透明度和信任的需求。
4.2 作为模型解释的科学探索
XAI为科学研究提供了实用技术和工具，其潜力巨大。根据利用XAI技术的不同方法，这些作品被分为三组：模式识别、跨学科合作和揭示机制。在模式识别中，XAI通过干预措施阐明AI决策过程，提高深度学习在药物发现等领域的效用。在跨学科合作中，XAI为多个领域的协同作用铺平了道路，导致跨学科的突破。在揭示机制中，XAI在破解自然系统复杂性和增强科学调查深度精度方面起着关键作用。XAI使AI模型简单易懂，帮助科学家验证或反驳假设，催生新见解。XAI是跨学科研究的理想途径，对科学探索的未来至关重要。
4.3 总结与讨论
XAI整合了数据收集与获取、数据准备与转换、数据建模与分析、结果报告和可视化四个步骤，用于推动社会价值和科学发现。在数据收集与获取阶段，XAI使用复杂的多维度和多模式数据集，涉及社会应用的数据类型包括人口统计、财务、医学成像、行为和教育数据集，以及科学发现的数据类型从基因组序列到量子系统属性，再到药物发现的分子结构以及医疗保健应用的临床成像数据。在数据准备与转换阶段，XAI进行数据预处理，包括社会背景下的标准化以减轻偏见、确保公平和透明度，以及转换不一致或缺失的财务数据以适应动态环境。在数据建模与分析阶段，XAI通过与目标任务相一致的技术进行建模与分析，如Counterfactual Fairness方法和深度神经网络透明技术，以实现社会公平和系统问责制。在科学发现方面，XAI通过分类识别和图神经网络进行概念漂白，以预测药物疗效，同时利用限制性玻尔兹曼机揭示量子纠缠。在结果报告和可视化阶段，XAI结果的报告和可视化因其应用领域而异，增强了模型决策过程的清晰度和可解释性。