Transformer实战（31）——解释Transformer模型决策
Transformer实战（31）——解释Transformer模型决策
- 0. 前言
- 1. 解释模型决策
- 2. 使用 LIME 解释 Transformer 模型决策
- 3. 使用 SHAP 解释 Transformer 模型决策
- 小结
- 系列链接
0. 前言
随着大语言模型 (Large Language Model, LLM) 的广泛应用，模型输出的准确性与可解释性之间的权衡问题变得尤为重要。可解释人工智能 (explainable artificial intelligence,XAI) 研究中的最大挑战是处理深度神经网络模型中大量的网络层和参数，旨在找到一种方法来理解深度模型如何做出决策。本节将从Transformer模型的角度来探讨可解释人工智能，我们已经学习了如何使用多种自注意力机制可视化工具，理解Transformer模型如何处理输入，并解释学习到的表示。在本节中，我们将通过两种重要方法，LIME和SHapley Additive exPlanations(SHAP)，解释Transformer模型如何做出决策。
1. 解释模型决策
即使我们无法完全理解大语言模型 (Large Language M