如何使用 Keras 实现图像分类中的激活热图

创作时间:

作者:

@小白创作中心

如何使用 Keras 实现图像分类中的激活热图

引用

来源

https://docs.pingcode.com/ask/ask-ask/304784.html

激活热图（Activation Heatmap）是深度学习中一种重要的可视化技术，主要用于理解卷积神经网络（CNN）在图像分类任务中的决策过程。通过生成激活热图，我们可以直观地看到模型在分类决策时关注的图像区域，这对于模型的调试和优化具有重要意义。本文将详细介绍如何使用Keras框架实现图像分类中的激活热图。

图像分类任务中的激活热图（或称作类激活映射）是一种可视化技术，它可以帮助我们理解卷积神经网络（CNN）是如何识别图像中的特定特征的。使用Keras实现图像分类中的激活热图通常涉及以下几个步骤：构建一个预训练的CNN模型、进行前向传播以获取特定层的激活输出、使用梯度上升法找到类别与激活的关联、生成热图并将其覆盖在原始图像上。这些步骤让我们可以直观地看到哪些区域最大程度地影响了网络的分类决策。
下面我们将这些步骤具体展开来详细说明如何使用Keras来实现。

一、构建预训练的卷积神经网络

要生成图像的激活热图，首先需要一个已经训练好的卷积神经网络模型。在Keras中，可以方便地加载一些预训练的模型，比如VGG16、ResNet50等。这些模型在ImageNet数据集上进行训练，能够识别多达1000个类别的图像。

为了获得激活热图，通常选择网络中的一个卷积层作为目标层，因为卷积层保留了空间信息，更适合于理解图像的空间层级特征。

from keras.applications import VGG16

## **加载VGG16模型及其在ImageNet上的预训练权重**  
model = VGG16(weights='imagenet')

二、进行前向传播以获取特定层的输出

在确定模型和目标卷积层之后，需要输入一张图片，执行一次前向传播，以获取在目标卷积层上的激活输出。

通常需要对输入图像进行与训练时相同的预处理步骤，然后才能正确地通过网络。

from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input  
import numpy as np  

## **加载图像并进行预处理**  
img_path = 'path_to_your_image.jpg'  
img = image.load_img(img_path, target_size=(224, 224))  
x = image.img_to_array(img)  
x = np.expand_dims(x, axis=0)  
x = preprocess_input(x)  

## **获取目标层的输出**  
from keras import models  

## **定义一个模型以获取目标层的输出**  
layer_outputs = [layer.output for layer in model.layers[:8]]  
activation_model = models.Model(inputs=model.input, outputs=layer_outputs)  

## **执行前向传播**  
activations = activation_model.predict(x)

三、使用梯度上升法找到类别与激活的关联

接下来需要找到输入图像的预测类别，并计算该类别在目标卷积层上的激活图。这通过计算类别相对于激活输出的梯度，即类激活映射的梯度上升法来实现。

这一步的关键是找到目标类别对应的输出节点，并计算该节点相对于目标卷积层输出的梯度，然后将这些梯度平均化成为一个热力图。

from keras.models import Model
import keras.backend as K  

## **假设我们的model的最后一层名称为'predictions'**  
final_output = model.get_layer('predictions').output  

## **获取图像的预测类别**  
preds = model.predict(x)  
predicted_class = preds.argmax(axis=-1)  

## **获取预测类别对应的输出节点**  
final_output_node = final_output[0, predicted_class]  

## **获取指定层的输出**  
last_conv_layer = model.get_layer('block5_conv3')  
last_conv_layer_output = last_conv_layer.output  

## **计算指定节点相对于指定层输出的梯度**  
grads = K.gradients(final_output_node, last_conv_layer_output)[0]  

## **对梯度进行全局平均池化**  
pooled_grads = K.mean(grads, axis=(0, 1, 2))  

## **获取在输入图像条件下，指定层输出和平均梯度的值**  
iterate = K.function([model.input], [pooled_grads, last_conv_layer_output[0]])  
pooled_grads_value, conv_layer_output_value = iterate([x])

四、生成激活热图并覆盖在原始图像上

最后一步是将激活的热图可视化，并且将其叠加到原始图像上。这可以通过将梯度值与卷积层输出相乘，然后对每个位置进行平均，以产生热度图。

重要的是将热图标准化并取适当的颜色映射，以便在原始图像上提供足够的对比度并清晰地展示哪些区域被模型视为决定性因素。

import matplotlib.cm as cm  

## **将梯度值乘上该层的激活输出并求平均，得到类激活的热力图**  
for i in range(len(pooled_grads_value)):  
    conv_layer_output_value[:, :, i] *= pooled_grads_value[i]  

heatmap = np.mean(conv_layer_output_value, axis=-1)  

## **标准化热图**  
heatmap = np.maximum(heatmap, 0)  
heatmap /= np.max(heatmap)  

## **将热图应用到原始图像**  
heatmap = np.uint8(255 * heatmap)  
heatmap = cm.jet(heatmap)[:, :, :3]  
heatmap = image.array_to_img(heatmap)  
heatmap = heatmap.resize((img.size[1], img.size[0]))  
superimposed_img = image.blend(img, heatmap, 0.4)  

## **显示图像**  
superimposed_img.show()

总结来说，激活热图是一种强大的可视化工具，它可以帮助深度学习研究者和实践者理解和解释卷积神经网络是如何响应特定输入图像的。借助Keras这样强大的深度学习框架，实现这一功能变得相对直接且高效，从而让研究者可以更加专注于构建和优化他们的模型。