TabNet: Attentive Interpretable Tabular Learning——一种具有可解释性的注意力表格学习模型
文章提出了一种名为TabNet的新型深度神经网络架构，专门用于处理表格数据。该架构旨在结合决策树（DT）的优势（如可解释性、处理表格数据的高效性）与深度神经网络（DNN）的优势（如端到端学习、表示学习），从而在表格数据学习任务中取得更优的性能和可解释性。
主要研究内容与创新点
1. 提出 TabNet 架构
TabNet 是一种基于序列注意力机制的深度学习模型，其核心设计包括：
实例级稀疏特征选择：在每个决策步骤，模型使用一个可学习的掩码，为每个输入实例动态选择最相关的特征子集进行处理。这确保了模型容量专注于最重要的特征，提高了参数效率。
顺序多步处理：模型通过多个决策步骤顺序处理信息，每一步都基于上一步的输出，决定下一步需要关注的特征，并逐步构建对最终决策的贡献。这种架构模仿了决策树（DT）的分步推理过程。
特征变换块：对选中的特征进行非线性处理，包含跨步骤共享和步骤独享的全连接层，结合批归一化（BN）和门控线性单元（GLU）以增强学习能力。
端到端学习：TabNet 可以直接处理原始表格数据（包括类别特征和数值特征），无需复杂的预处理或特征工程，并通过梯度下降进行优化。
2. 增强模型可解释性
TabNet 天然具有可解释性，这是其在现实应用中至关重要的一点：
局部可解释性：通过可视化每个决策步骤产生的特征选择掩码，可以清楚了解对于单个输入样本，模型在每一步依赖哪些特征做出决策。
全局可解释性：通过聚合所有决策步骤的特征掩码，并考虑每步的决策贡献，可以计算出每个特征在整个训练模型中的全局重要性得分，从而理解模型的整体行为。
3. 提出表格数据的自监督学习
这是论文的另一项重要贡献。作者首次为表格数据设计了一个自监督学习框架：
方法：训练一个编码器-解码器结构的 TabNet，任务是从部分特征中预测被掩码的其他特征。例如，模型尝试从其他列推断出“教育水平”或“性别”列。
效果：在大规模无标签表格数据上进行这种预训练后，得到的编码器模型在下游的监督学习任务（如分类、回归）上表现显著提升，尤其是在标记数据稀缺的情况下。这类似于 BERT 在 NLP 中的预训练范式。
4. 广泛的实验验证
论文在多个真实世界和合成数据集上对 TabNet 进行了全面的评估，涵盖分类、回归等任务：
性能对比：
在合成数据上，TabNet 的实例级特征选择能力显著优于全局特征选择方法和 L2X、INVASE 等其他实例级方法。
在真实数据集（如 Forest Cover Type, Poker Hand, Higgs Boson, Sarcos, Rossmann 销售预测）上，TabNet 的性能通常超越或媲美最先进的集成树模型（如 XGBoost, LightGBM, CatBoost）和传统 MLP/DNN 模型。
TabNet 在具有高度非线性关系（如 Poker Hand）和超大规模数据（如 Higgs Boson）的任务中表现尤为突出。
可解释性展示：通过可视化特征掩码，清晰展示了 TabNet 如何准确聚焦于合成数据中的真正相关特征，以及在真实数据（如蘑菇分类、人口普查收入预测）上给出的特征重要性排名与领域知识及现有可解释性工具（如 SHAP）的结果高度一致。
自监督学习效果：实验证明，在 Higgs 和 Forest Cover Type 数据集上，使用自监督预训练能显著提升小样本场景下的模型准确率和收敛速度。
消融研究与超参数指南：详细分析了模型各组件（如决策步数、特征维度、稀疏正则化强度、批量大小等）对性能的影响，并为实际应用提供了超参数选择建议。
论文的核心贡献是设计了一个高性能、可解释、且能利用自监督学习的深度表格学习模型 TabNet。它成功地将注意力机制、稀疏特征选择和顺序处理融合到 DNN 中，有效解决了传统 DNN 在表格数据上性能不佳且不可解释的问题，同时在多个任务上证明了其相对于传统树模型的优势，并为表格数据的预训练开辟了新的方向。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：
摘要
我们提出了一种新颖的高性能且可解释的规范深度表格数据学习架构——TabNet。TabNet 使用序列注意力机制在每一步决策中选择要推理的特征，从而实现可解释性，并通过将学习能力集中于最重要的特征来实现更高效的学习。我们证明，在各种非性能饱和的表格数据集上，TabNet 优于其他变体，并产生可解释的特征归因以及对其全局行为的洞察。最后，我们展示了针对表格数据的自监督学习，当未标记数据充足时，可显著提高性能。
引言
深度神经网络（DNN）在图像（He et al. 2015）、文本（Lai et al. 2015）和音频（Amodei et al. 2015）领域取得了显著成功。对于这些领域，能够高效地将原始数据编码为有意义的表示的规范架构推动了快速的进步。表格数据是尚未见到这种规范架构成功的数据类型之一。
尽管表格数据是现实世界人工智能中最常见的数据类型（因为它包含任何类别和数值特征），（Chui et al. 2018），但针对表格数据的深度学习仍未得到充分探索，集成决策树（DT）的变体仍然主导着大多数应用（Kaggle 2019a）。为什么？首先，因为基于 DT 的方法具有某些优势：(i) 它们对于表格数据中常见的、具有近似超平面边界的决策流形具有表示效率；(ii) 它们的基本形式高度可解释（例如，通过跟踪决策节点），并且对于其集成形式有流行的后验可解释性方法，例如（Lundberg, Erion, and Lee 2018）——这是许多实际应用中的一个重要考量；(iii) 它们训练速度快。其次，因为先前提出的 DNN 架构并不非常适合表格数据：例如，堆叠卷积层或多层感知机（MLP）参数严重过多——缺乏适当的归纳偏置常常导致它们无法为表格决策流形找到最优解（Goodfellow, Bengio, and Courville 2016; Shavitt and Segal 2018; Xu et al. 2019）。
为什么值得为表格数据探索深度学习？一个显而易见的动机是预期的性能提升，尤其是在大型数据集上（Hestness et al. 2017）。此外，与树学习不同，DNN 能够为表格数据实现基于梯度下降的端到端学习，这具有诸多优势：(i) 高效编码多种数据类型，如图像与表格数据一起；(ii) 减少对特征工程的需求，这是当前基于树的表格数据学习方法的一个关键方面；(iii) 从流式数据中学习，也许最重要的是 (iv) 端到端模型允许表示学习，这支持许多有价值的应用场景，包括数据高效的领域自适应（Goodfellow, Bengio, and Courville 2016）、生成建模（Radford, Metz, and Chintala 2015）和半监督学习（Dai et al. 2017）。
我们提出了一种新的规范 DNN 架构用于表格数据，称为 TabNet。主要贡献总结如下：
TabNet 输入原始表格数据，无需任何预处理，并使用基于梯度下降的优化进行训练，从而能够灵活地集成到端到端学习中。
TabNet 使用序列注意力机制在每一步决策中选择要推理的特征，从而实现可解释性和更好的学习，因为学习能力被用于最显著的特征（见图 1）。这种特征选择是实例级的，例如，每个输入的选择可能不同，并且与（Chen et al. 2018）或（Yoon, Jordon, and van der Schaar 2019）等其他实例级特征选择方法不同，TabNet 使用单一的深度学习架构进行特征选择和推理。
上述设计选择带来了两个有价值的特性：(i) 在各种不同领域的分类和回归问题的数据集上，TabNet 优于或媲美其他表格学习模型；(ii) TabNet 支持两种可解释性：局部可解释性，可视化特征的重要性及其组合方式；以及全局可解释性，量化每个特征对训练后模型的贡献。
最后，首次针对表格数据，我们展示了通过使用无监督预训练来预测被掩码的特征，可以显著提升性能（见图 2）。
相关工作
特征选择：特征选择广义上指根据特征对预测的有用性，明智地选择一个子集。常用的技术，如前向选择法和 Lasso 正则化（Guyon and Elisseeff 2003）基于整个训练数据归因特征重要性，被称为全局方法。实例级特征选择指为每个输入单独选择特征，在（Chen et al. 2018）中通过一个解释器模型来最大化所选特征与响应变量之间的互信息，在（Yoon, Jordon, and van der Schaar 2019）中通过使用演员-评论家框架来模仿基线同时优化选择。与这些不同，TabNet 在端到端学习中采用具有可控稀疏性的软特征选择——单个模型联合执行特征选择和输出映射，从而以紧凑的表示获得优越的性能。
图 1：在 Adult Census Income 预测（Dua and Graff 2017）上示例的 TabNet 稀疏特征选择。稀疏特征选择实现了可解释性和更好的学习，因为容量被用于最显著的特征。TabNet 采用多个决策块，专注于处理输入特征的一个子集进行推理。图中示例的两个决策块分别处理与职业和投资相关的特征，以预测收入水平。
图 2：自监督表格学习。现实世界的表格数据集具有相互依赖的特征列，例如，可以从职业猜测教育水平，或者从家庭关系猜测性别。通过掩码自监督学习进行无监督表示学习，可以为监督学习任务产生一个改进的编码器模型。
基于树的学习：DT 常用于表格数据学习。其主要优势是高效地挑选具有最大统计信息增益的全局特征（Grabczewski and Jankowski 2005）。为了提高标准 DT 的性能，一种常见的方法是集成以降低方差。在集成方法中，随机森林（Ho 1998）使用随机数据子集和随机选择的特征来生长许多树。XGBoost（Chen and Guestrin 2016）和 LightGBM（Ke et al. 2017）是最近两种主流的集成 DT 方法，主导了最近的大多数数据科学竞赛。我们的实验结果显示在各种数据集上，当通过深度学习提高表示能力同时保留其特征选择特性时，可以超越基于树的模型。DNN 与 DT 的集成：如（Humbird, Peterson, and McClaren 2018）中那样用 DNN 构建块表示 DT 会导致表示冗余和学习效率低下。软（神经）DT（Wang, Aggarwal, and Liu 2017; Kontschieder et al. 2015）使用可微分的决策函数，而不是不可微分的轴对齐分割。然而，失去自动特征选择通常会降低性能。在（Yang, Morillo, and Hospedales 2018）中，提出了一种软分箱函数来模拟 DNN 中的 DT，但需要低效地枚举所有可能的决策。（Ke et al. 2019）提出了一种通过显式利用表达性特征组合的 DNN 架构，然而，学习是基于从梯度提升 DT 转移知识。（Tanno et al. 2018）提出了一种 DNN 架构，通过从原始块自适应地生长，同时将表示学习到边、路由函数和叶节点中。TabNet 与这些不同，它通过序列注意力嵌入了具有可控稀疏性的软特征选择。
图 3：使用传统 DNN 模块（左）和相应决策流形（右）的类 DT 分类示意图。通过对输入使用乘法稀疏掩码来选择相关特征。所选特征被线性变换，并在添加偏置（表示边界）后，ReLU 通过将区域置零来执行区域选择。多个区域的聚合基于加法。随着 \(C_1\) 和 \(C_2\) 增大，决策边界变得更锐利。
自监督学习：无监督表示学习可以改善监督学习，尤其是在小数据 regime 下（Raina et al. 2007）。最近针对文本（Devlin et al. 2018）和图像（Trinh, Luong, and Le 2019）数据的工作显示了显著的进步——这得益于对无监督学习目标（掩码输入预测）和基于注意力的深度学习的明智选择。
用于表格学习的 TabNet
DT 在从现实世界表格数据集中学习方面是成功的。通过特定设计，传统的 DNN 构建块可以用来实现类 DT 的输出流形（例如，见图 3）。在这种设计中，个体特征选择是获得超平面形式决策边界的关键，这可以推广到特征的线性组合，其中系数决定了每个特征的比例。TabNet 基于这种功能，并通过精心设计，在优于 DT 的同时获得了它们的优势，其设计要点是：(i) 使用从数据中学习到的稀疏实例级特征选择；(ii) 构建一个序列多步架构，其中每一步基于所选特征对决策的一部分做出贡献；(iii) 通过所选特征的非线性处理提高学习能力；(iv) 通过更高维度和更多步骤模拟集成。
图 4：(a) TabNet 编码器，由一个特征变换器、一个注意力变换器和特征掩码组成。一个分割块将处理后的表示分开，一部分供后续步骤的注意力变换器使用，另一部分用于整体输出。对于每一步，特征选择掩码提供了关于模型功能的可解释信息，并且可以聚合掩码以获得全局特征重要性归因。(b) TabNet 解码器，由每一步的一个特征变换器块组成。(c) 一个特征变换器块示例——展示了 4 层网络，其中 2 层在所有决策步之间共享，2 层依赖于决策步。每一层由一个全连接（FC）层、BN 和 GLU 非线性组成。(d) 一个注意力变换器块示例——一个单层映射通过先验尺度信息进行调制，该信息聚合了在当前决策步之前每个特征被使用的程度。使用 sparsemax（Martins and Astudillo 2016）对系数进行归一化，从而实现对显著特征的稀疏选择。
实验
我们在广泛的问题上研究 TabNet，包括回归或分类任务，特别是使用已发布的基准数据集。对于所有数据集，类别输入通过可学习的嵌入映射到一维可训练标量 ，数值列直接输入，无需预处理 。我们使用标准的分类（softmax 交叉熵）和回归（均方误差）损失函数，并训练至收敛。TabNet 模型的超参数在验证集上进行了优化，并列于附录中。如附录中的消融研究所示，TabNet 的性能对大多数超参数不敏感。在附录中，我们还提供了关于各种设计的消融研究以及关键超参数选择的指南。对于所有我们引用的实验，我们使用与原始工作相同的训练、验证和测试数据划分。所有模型的训练都使用 Adam 优化算法（Kingma and Ba 2014）和 Glorot 均匀初始化。
实例级特征选择
选择显著特征对于实现高性能至关重要，尤其是在小型数据集上。我们考虑了（Chen et al. 2018）中的 6 个表格数据集（包含 10k 训练样本）。这些数据集的构建方式是，只有一部分特征决定输出。对于 Syn1-Syn3，显著特征对所有实例都是相同的（例如，Syn2 的输出取决于特征 X3−X6），如果已知显著特征，全局特征选择将给出高性能。对于 Syn4-Syn6，显著特征是实例相关的（例如，对于 Syn4，输出取决于 X1−X2 或 X3−X6 中的一组，具体取决于 X11 的值），这使得全局特征选择效果不佳。表 1 显示，TabNet 优于其他方法（树集成（Geurts, Ernst, and Wehenkel 2006）、LASSO 正则化、L2X（Chen et al. 2018）），并与 INVASE（Yoon, Jordon, and van der Schaar 2019）表现相当。对于 Syn1-Syn3，TabNet 的性能接近于全局特征选择——它能找出哪些特征是全局重要的。对于 Syn4-Syn6，通过消除实例级冗余特征，TabNet 改进了全局特征选择。所有其他方法使用的预测模型有 43k 个参数，而由于演员-评论家框架中的另外两个模型，INVASE 的总参数数为 101k。TabNet 是一个单一的架构，其大小为 Syn1-Syn3 的 26k 和 Syn4-Syn6 的 31k。紧凑的表示是 TabNet 的宝贵特性之一。
表 1：在（Chen et al. 2018）的 6 个合成数据集上，TabNet 与其他基于特征选择的 DNN 模型的测试接收者操作特征曲线下面积（AUC）的均值和标准差。模型包括：无选择（使用所有特征，无特征选择）、全局（仅使用全局显著特征）、树集成（Geurts, Ernst, and Wehenkel 2006）、Lasso 正则化模型、L2X（Chen et al. 2018）和 INVASE（Yoon, Jordon, and van der Schaar 2019）。加粗数字表示每个数据集上的最佳结果。
| 模型 | Syn1 | Syn2 | Syn3 | Syn4 | Syn5 | Syn6 |
|---|---|---|---|---|---|---|
| 无选择 | .578 ± .004 | .789 ± .003 | .854 ± .004 | .558 ± .021 | .662 ± .013 | .692 ± .015 |
| 树 | .574 ± .101 | .872 ± .003 | .899 ± .001 | .684 ± .017 | .741 ± .004 | .771 ± .031 |
| Lasso 正则化 | .498 ± .006 | .555 ± .061 | .886 ± .003 | .512 ± .031 | .691 ± .024 | .727 ± .025 |
| L2X | .498 ± .005 | .823 ± .029 | .862 ± .009 | .678 ± .024 | .709 ± .008 | .827 ± .017 |
| INVASE | .690 ± .006 | .877 ± .003 | .902 ± .003 | .787 ± .004 | .784 ± .005 | .877 ± .003 |
| 全局 | .686 ± .005 | .873 ± .003 | .900 ± .003 | .774 ± .006 | .784 ± .005 | .858 ± .004 |
| TabNet | .682 ± .005 | .892 ± .004 | .897 ± .003 | .776 ± .017 | .789 ± .009 | .878 ± .004 |
在真实世界数据集上的性能
表 2：Forest Cover Type 数据集的性能。
| 模型 | 测试准确率 (%) |
|---|---|
| XGBoost | 89.34 |
| LightGBM | 89.28 |
| CatBoost | 85.14 |
| AutoML Tables | 94.95 |
| TabNet | 96.99 |
Forest Cover Type（Dua and Graff 2017）：任务是从制图变量中对森林覆盖类型进行分类。表 2 显示，TabNet 优于已知能实现稳健性能的集成树基方法（Mitchell et al. 2018）。我们还考虑了 AutoML Tables（AutoML 2019），这是一个基于模型集成的自动化搜索框架，包括 DNN、梯度提升 DT、AdaNet（Cortes et al. 2016）和集成（AutoML 2019），并进行了非常彻底的超参数搜索。一个未进行精细超参数搜索的单一 TabNet 模型就超越了它。
表 3：Poker Hand 数据集的性能。
| 模型 | 测试准确率 (%) |
|---|---|
| DT | 50.0 |
| MLP | 50.0 |
| 深度神经 DT | 65.1 |
| XGBoost | 71.1 |
| LightGBM | 70.0 |
| CatBoost | 66.6 |
| TabNet | 99.2 |
| 基于规则 | 100.0 |
Poker Hand（Dua and Graff 2017）：任务是从牌的花色和点数原始属性中识别扑克手牌。输入-输出关系是确定性的，手工设计的规则可以达到 100% 的准确率。然而，传统的 DNN、DT，甚至是它们的混合变体——深度神经 DT（Yang, Morillo, and Hospedales 2018），都严重受到数据不平衡的影响，无法学习所需的排序和比较操作（Yang, Morillo, and Hospedales 2018）。经过调优的 XGBoost、CatBoost 和 LightGBM 相比它们只有非常微小的改进。TabNet 优于其他方法，因为它能够利用其深度执行高度非线性的处理，同时通过实例级特征选择避免过拟合。
表 4：Sarcos 数据集的性能。考虑了三种不同大小的 TabNet 模型。
| 模型 | 测试 MSE | 模型大小 |
|---|---|---|
| 随机森林 | 2.39 | 16.7K |
| 随机 DT | 2.11 | 28K |
| MLP | 2.13 | 0.14M |
| 自适应神经树 | 1.23 | 0.60M |
| 梯度提升树 | 1.44 | 0.99M |
| TabNet-S | 1.25 | 6.3K |
| TabNet-M | 0.28 | 0.59M |
| TabNet-L | 0.14 | 1.75M |
Sarcos（Vijayakumar and Schaal 2000）：任务是回归一个拟人机器人手臂的逆动力学。
（Tanno et al. 2018）表明，使用随机森林，一个非常小的模型也能获得不错的性能。在非常小的模型规模 regime 下，TabNet 的性能与（Tanno et al. 2018）中参数多 100 倍的最佳模型相当。当模型规模不受限制时，TabNet 实现了几乎低一个数量级的测试 MSE。
表 5：Higgs Boson 数据集的性能。两个 TabNet 模型分别用 -S 和 -M 表示。
| 模型 | 测试准确率 (%) | 模型大小 |
|---|---|---|
| 稀疏进化 MLP | 78.47 | 81K |
| 梯度提升树-S | 74.22 | 0.12M |
| 梯度提升树-M | 75.97 | 0.69M |
| MLP | 78.44 | 2.04M |
| 梯度提升树-L | 76.98 | 6.96M |
| TabNet-S | 78.25 | 81K |
| TabNet-M | 78.84 | 0.66M |
Higgs Boson（Dua and Graff 2017）：任务是区分希格斯玻色子过程与背景。由于其规模大得多（1050 万个实例），即使是非常大的集成，DNN 也优于 DT 变体。TabNet 以更紧凑的表示优于 MLP。我们还将结果与最先进的进化稀疏化算法（Mocanu et al. 2018）进行了比较，该算法将非结构化稀疏性集成到训练中。凭借其紧凑的表示，TabNet 在相同参数数量下产生了与稀疏进化训练几乎相似的性能。与稀疏进化训练不同，TabNet 的稀疏性是结构化的——它不会降低操作强度（Wen et al. 2016），并且可以有效地利用现代多核处理器。
表 6：Rossmann Store Sales 数据集的性能。
| 模型 | 测试 MSE |
|---|---|
| MLP | 512.62 |
| XGBoost | 490.83 |
| LightGBM | 504.76 |
| CatBoost | 489.75 |
| TabNet | 485.12 |
Rossmann Store Sales（Kaggle 2019b）：任务是根据静态和时变特征预测商店销售额。我们观察到 TabNet 优于常用的方法。时间特征（例如，日期）获得了较高的重要性，并且对于像节假日这样销售动态不同的情况，观察到了实例级特征选择的好处。
可解释性
自监督学习
表 7：在 Higgs 数据集上使用 TabNet-M 模型，改变监督微调的训练数据集大小，得到的准确率（15 次运行）均值和标准差。
| 训练数据集大小 | 测试准确率 (%) | |
|---|---|---|
| 监督学习 | 带预训练 | |
| 1k | 57.47 ± 1.78 | 61.37 ± 0.88 |
| 10k | 66.66 ± 0.88 | 68.06 ± 0.39 |
| 100k | 72.92 ± 0.21 | 73.19 ± 0.15 |
表 7 显示，无监督预训练显著提高了监督分类任务的性能，尤其是在未标记数据集远大于标记数据集的情况下。如图 7 所示，使用无监督预训练，模型收敛速度更快。非常快的收敛速度对于持续学习和领域自适应可能很有用。
结论
我们提出了 TabNet，一种用于表格学习的新型深度学习架构。TabNet 使用序列注意力机制在每个决策步选择一个语义上有意义的特征子集进行处理。实例级特征选择实现了高效的学习，因为模型容量完全用于最显著的特征，并且通过选择掩码的可视化，也产生了更可解释的决策过程。我们证明了 TabNet 在不同领域的表格数据集上优于先前的工作。最后，我们展示了无监督预训练对于快速适应和性能提升的显著好处。
图 5：在 Syn2 和 Syn4（Chen et al. 2018）上的特征重要性掩码 \(\mathbf{M}[i]\)（指示第 \(i\) 步的特征选择）和聚合特征重要性掩码 \(\mathbf{M}_{\text{agg}}\)（显示全局实例级特征选择）。较亮的颜色表示较高的值。例如，对于 Syn2，仅使用了 \(X_3 - X_6\)。
图 6：Adult 数据集决策流形的前两个 T-SNE 维度以及首要特征“年龄”的影响。
图 7：在 Higgs 数据集上使用 10k 个样本的训练曲线。