神经网络拥有数百万个可训练参数，长期以来一直被认为是黑匣子。它们可以产生令人惊叹的结果，而我们经常接受输出，但对模型为何做出这样的预测知之甚少。在某些情况下，模型可以学习意想不到的相关性并产生与预期任务无关的“正确”结果。GradCAM是梯度加权类激活映射的缩写，是计算机视觉和神经网络可解释性方面的重大突破。随着人工智能和机器学习系统，特别是卷积神经网络 (CNN)，越来越多地融入技术和日常生活的各个方面，了解其决策过程变得至关重要。这就是 GradCAM 作为关键工具发挥作用的地方。
我们将首先对一个流行的分类模型进行微调，特别是在脑 MRI 数据集上的EfficienNetV2 小模型，用于对扫描中明显的四类脑肿瘤进行分类。微调后，我们将讨论实施 GradCAM 以展示模型可解释性的基本原则。