表格数据评估范式革新：从模型中心化到特征工程与场景化分层评估
1. 项目概述：重新审视表格数据研究的评估范式
在表格数据建模这个领域里，我们这些从业者每天都在和数据、特征、模型打交道。一个核心的、反复被讨论的问题是：我们如何公平地评估一个模型的好坏？是把它当作一个“黑盒”系统，丢给它一堆原始数据，然后看它自己能学出什么花样？还是应该像在实际项目中那样，为它精心准备一顿由领域知识烹饪的“特征大餐”，再让它上桌比拼？这个问题看似简单，却直接关系到我们整个研究方向的效率与真实性。
过去几年，随着AutoML工具的兴起和深度学习模型在表格数据上的探索，一种“标准化评估”的范式逐渐成为主流。简单来说，就是为所有数据集设定一套固定的、自动化的预处理流程（比如简单的缺失值填充、标准化、标签编码），然后在这个“公平”的起跑线上比较不同模型的性能。这种做法初衷是好的，旨在控制变量，进行纯粹的“模型能力”对比。但我在实际工作中，尤其是在参与和复盘一些Kaggle竞赛解决方案时，越来越感觉到这种评估方式与现实脱节。它更像是在比较“全自动洗衣机”的洗涤效果，而现实中，一件高级定制西装的清洗，往往离不开经验丰富的老师傅对污渍类型、面料特性的判断和预处理。
最近一项深入的研究，通过系统性地对比“标准化预处理”与“专家级特征工程预处理”在多个真实数据集上的评估结果，为我们敲响了警钟。研究发现，当前表格数据研究存在严重的“模型中心化”倾向，而许多真实数据集要么严重依赖特定领域的特征工程，要么其数据分布本身就违背了模型所基于的“独立同分布”假设。这导致在标准化流水线下表现优异的模型，在投入实际业务时可能遭遇“水土不服”。这项研究不仅点明了问题，更为我们指明了几个关键的未来方向：从更审慎的预处理选择，到建立包含外部性能参考的动态基准，再到深入探究模型为何无法自动学会某些特征变换，以及如何让基准测试更好地对齐实际业务中普遍存在的时间序列特性。
2. 核心问题剖析：标准化评估的“理想”与“现实”鸿沟
2.1 模型中心化评估的局限性
当前主流的表格数据研究，尤其是学术论文和新模型发布的基准测试，普遍采用一种“模型中心化”的评估框架。其核心逻辑是：为了公平比较模型A和模型B的“内在学习能力”，我们需要将除模型结构以外的所有因素固定。因此，一套标准化的预处理管道被建立起来，通常包括：
- 数值特征： 缺失值用中位数或均值填充，然后进行标准化或归一化。
- 分类特征： 采用标签编码或序数编码，对于树模型可能直接处理，对于神经网络则进行独热编码或嵌入。
- 特征选择： 可能移除方差极低的常数特征或高度相关的特征。
这套流程的优点是显而易见的：可复现、自动化、易于横向对比。它假设模型是一个“全能学习者”，能够从经过基本清洗的原始数据中自动挖掘出所有有价值的模式。在这种设定下，评估的其实是模型的“AutoML”潜力——即给定一个相对干净的数据集，模型在无人为干预的情况下能达到的最佳性能。
然而，这种“理想实验室环境”与真实世界的数据科学工作流存在巨大偏差。在真实的业务场景或数据竞赛中，顶尖的表现极少来自于一个“裸奔”的先进模型。相反，它几乎总是“领域知识驱动的特征工程”与“强大模型”结合的产物。研究者将模型视为一个独立的、完整的解决方案进行评估，而实践者则将其视为一个需要精心调教和喂养的“组件”。
2.2 独立同分布假设的脆弱性
许多机器学习模型的理论基础建立在“独立同分布”假设之上，即训练数据和测试数据来自同一个未知的分布。标准化预处理流程默认了这一假设成立。但现实中的表格数据，尤其是来自金融、零售、物联网等领域的时序数据或涉及用户行为的数据，常常存在明显的分布漂移。
例如，一个预测信用卡欺诈的模型，黑产团伙的攻击模式可能每月都在变化；一个商品销量预测模型，会受到季节性、促销活动、竞品策略等外部因素的强烈影响。测试集的数据分布可能与训练集不同。在这种情况下，标准化预处理（如基于训练集计算的均值和方差进行标准化）如果直接应用到测试集，可能会引入偏差，或者掩盖了模型处理分布变化能力的真实评估。
研究明确指出，许多具有时间特性的表格数据任务在现有基准中被排除在外，正是因为它们破坏了i.i.d.假设。但这恰恰是实践中最常见、最具挑战性的场景之一。忽略它们，相当于在平静的游泳池里训练救生员，然后声称他能应对所有海域的风浪。
2.3 “其他条件相同”的公平性困境
标准化评估旨在实现“其他条件相同”的比较。但这里存在一个根本性的矛盾：不同的模型内部，对特征工程的处理能力是天差地别的。
以CatBoost为例，它在设计上就内置了对类别型特征的高效处理，如通过 Ordered Boosting 和目标变量统计信息自动生成有效的特征交互。这意味着，即使在“标准化”流程中，CatBoost也已经偷偷进行了一轮“内部特征工程”。而一个简单的逻辑回归或标准的全连接神经网络，如果不经过手动特征交叉或分桶，则完全不具备这种能力。
因此，当我们在一个仅做了标签编码的标准化数据集上比较CatBoost和MLP时，我们并不是在“其他条件相同”的前提下比较它们的“模型架构”，而是在比较“一个自带特征工程引擎的模型”和“一个没有此引擎的模型”。这种比较对于理解模型架构的优劣帮助有限，反而可能误导研究者低估了那些不擅长自动特征工程的模型潜力，或者高估了某些模型在“无辅助”环境下的真实能力。
3. 未来方向一：构建分层的评估体系与预处理策略
3.1 从“单一标准”到“场景化评估”
未来的研究必须摒弃“一刀切”的评估思维，转向基于场景的、分层的评估体系。这要求我们在设计实验或基准测试时，首先明确评估的目标：
评估AutoML解决方案的潜力：如果目标是评估一个端到端的自动化机器学习系统（如AutoGluon, H2O.ai）的“开箱即用”能力，那么采用标准化的预处理流程是合适的。此时，评估的是系统在最小人工干预下的综合表现。
评估模型架构的“净能力”：如果目标是纯粹比较不同模型架构（如Transformer for Tabular vs. XGBoost）的学习能力，那么需要创造一个“特征工程水平场”。这意味着，要么为所有模型提供经过充分、深度特征工程的数据，确保输入已经包含了领域知识所能挖掘的主要信息；要么使用那些特征工程增益极小的“天然”数据集。这样才能剥离特征工程的影响，聚焦于模型从优质特征中学习复杂关系的能力。
评估模型在真实流水线中的价值：如果目标是预测一个模型在真实数据科学项目中的表现，那么评估必须置于“专家级预处理管道”之后。这时的评估结果对实践者最具指导意义。研究可以构建“基准预处理管道”，这些管道不是简单的标准化，而是融合了常见且有效的特征工程技术（如交叉特征、目标编码、聚类特征生成等），作为更贴近现实的评估基线。
3.2 建立“原始数据”与“全处理数据”双轨基准
研究提出了一个极具建设性的想法：将基准测试明确分为两个轨道。
- 轨道A：原始数据基准：提供最原始的数据集（仅进行最基本的加载和问题定义，如划分训练/测试集）。这个轨道用于评估AutoML系统或那些宣称能进行自动特征学习的模型。
- 轨道B：全处理数据基准：提供经过高水平、可复现的专家级特征工程处理后的数据。这个轨道用于在“特征已臻完善”的假设下，公平地比较不同模型架构的终极性能上限。
这种双轨制的好处在于：
- 职责分离：让“特征工程自动化”和“模型学习能力”两个任务得到分别的、清晰的评估。
- 明确进展：社区可以清晰地看到，性能提升是来自于特征工程的进步，还是模型本身的突破。
- 实践参考：从业者可以根据自己团队的实际情况（是否有强大的特征工程能力）来选择参考哪个轨道的排行榜。
当然，构建“轨道B”的最大挑战在于获取高质量、可复现的专家解决方案。这需要社区共同努力，建立类似Kaggle解决方案库的标准化、代码化的特征工程管道库。研究中所使用的来自Kaggle顶级方案的专家预处理步骤，正是朝这个方向迈出的重要一步。
4. 未来方向二：设立外部性能参考与动态基准
4.1 当前基准测试的“无锚点”困境
现有的众多表格数据基准（如OpenML， UCI repository）虽然提供了丰富的数据集，但存在一个关键缺陷：它们缺乏一个公认的、代表人类或领域专家最高水平的“性能天花板”作为参考。
这就好比举办跳高比赛，我们记录每个运动员的成绩，却不知道世界纪录是多少，甚至不知道横杆的理论极限高度。我们只能比较运动员之间的相对名次，却无法回答“当前的技术水平距离解决这个实际问题还有多远？”、“这个数据集是容易还是困难？”。
没有外部参考，我们所谓的“state-of-the-art”可能只是在一群矮子中拔出的将军，离实际应用的要求相去甚远。模型在某个基准上提升1%的准确率，其实际意义是模糊的。
4.2 构建包含“人类表现”的动态排行榜
一个理想的、能真正推动领域发展的基准，应该具备以下特点：
引入人类专家或顶级方案作为参考线：对于每个数据集，除了记录各种模型的性能，还应明确标出“当前已知最佳性能”（例如，Kaggle竞赛的冠军分数、领域专家构建的定制化系统的性能）。这个分数可以作为一条重要的参考线，让研究者一目了然地看到差距。
聚焦于有意义的、未解决的现实问题：基准应倾向于选择那些来自真实业务场景、具有明确商业或科学价值、且尚未被完美解决的数据集。避免那些已经被过度优化、性能接近理论上限的“玩具数据集”。
建立公开、动态的排行榜：一个像Kaggle那样持续更新的公开排行榜，能激发社区参与，形成良性竞争。动态性意味着可以不断纳入新的、有挑战性的数据集，淘汰已解决的问题，保持基准的活力和前沿性。
区分任务类型：明确区分i.i.d.任务和时序/分布外泛化任务，并为后者设计专门的评估协议（如严格的时间序列划分、模拟概念漂移的测试集），引导社区关注更具实践挑战性的问题。
这样的基准不仅能更准确地衡量技术进步，还能像“指路明灯”一样，引导研究资源投向那些最需要突破、最具实际价值的难点。
5. 未来方向三：探究模型特征学习的“盲区”与改进
5.1 模型为何学不会某些特征变换？
研究揭示了一个深刻的现象：存在一些特征空间的变换，是当前模型无法通过端到端学习自动掌握的，必须通过手动特征工程来提供。这就引出了一个核心科学问题：为什么？这些“模型盲区”背后的原理是什么？
以研究中提到的案例为例，深度学习模型在类别型特征上依然能从手动特征工程中获益。这与之前一些认为“深度学习能自动学习一切特征交互”的观点相左。可能的原因包括：
- 优化难度：某些高阶的、非线性的特征组合（如针对特定业务逻辑的交叉统计量）位于损失函数的平坦区域或鞍点附近，基于梯度的优化算法难以发现。
- 归纳偏置不足：当前主流的表格深度学习架构（如MLP、TabNet、FT-Transformer）的归纳偏置可能更偏向于捕捉连续的、加性的交互，而对一些离散的、集合论式的（如“特征A的取值集合在特征B下的分组统计”）交互模式不敏感。
- 数据效率低下：学习某些复杂的特征变换可能需要远超当前数据集规模的数据量，而手动特征工程以一种数据高效的方式植入了先验知识。
未来的工作应该像“病理学家”一样，深入解剖这些失败案例。可以系统性地研究不同类别的特征工程操作（如分桶、交叉、基于目标的编码、聚类特征生成等），并分析哪些操作是现有模型难以学习的，以及在什么样的数据分布下会出现这种困难。
5.2 改进模型架构与AutoML策略
对“盲区”的理解将直接推动模型和AutoML系统的改进：
设计新的神经网络组件：针对模型难以学习的变换类型，设计专门的神经网络层或模块。例如，如果发现模型不擅长学习周期性的时间聚合特征，是否可以设计一个可学习的周期性聚合层？研究可以探索如何将常见的特征工程操作（如
groupby+agg）参数化、可微分化，并作为神经网络的一部分进行端到端训练。增强类别型特征处理：尽管CatBoost在类别型特征上取得了成功，但深度学习模型在这方面仍有很大提升空间。未来的研究可以探索超越传统嵌入表的方法，例如基于注意力的类别特征交互、层次化嵌入，或者将类别特征与数值特征在更早的阶段进行融合交互。
提升AutoML的特征工程能力：研究发现，即使是强大的AutoML系统如AutoGluon，有时也无法像单个模型那样充分受益于特征工程。这可能是因为AutoML的搜索空间未能覆盖那些关键的、数据集特定的变换，或者其集成策略未能有效利用工程后特征带来的信息。未来的AutoML研究需要更深入地集成特征工程搜索，或许可以借鉴大型语言模型（LLM）进行上下文感知的自动特征工程，根据数据集的语义描述生成候选特征。
6. 未来方向四：拥抱时序与分布外泛化的挑战
6.1 正视表格数据的时间属性
大量现实世界的表格数据任务本质上是时序的：金融交易、用户点击流、传感器读数、销售记录等。然而，当前主流的表格数据研究却过度聚焦于静态的i.i.d.数据。这种脱节导致学术界产出的模型和技术，在面对实践中最常见的时序和分布漂移问题时，可能缺乏鲁棒性。
未来的表格数据基准必须主动纳入并明确标注具有时间特性的数据集。评估协议需要采用严格的时间序列划分（例如，按时间戳划分训练集和测试集，禁止未来信息泄漏），以模拟真实的预测场景。这不仅能更真实地评估模型，还将催生专门针对表格数据时序特性的新方法研究。
6.2 发展表格数据的测试时适应与领域泛化技术
在计算机视觉和自然语言处理领域，测试时适应和领域泛化已是热门研究方向。但在表格数据领域，这方面的系统性研究还相对较少。当模型部署后面对分布逐渐变化的在线数据时，如何让其自适应调整？
- 测试时适应：研究如何利用测试样本本身（无需真实标签）来动态调整模型。对于表格数据，这可能涉及在线更新特征归一化的参数、根据测试数据分布调整模型中的某些偏置项、或对批次统计量进行校准。研究中的“测试时特征工程”技术（如在测试阶段重新计算某些统计特征）就是一个很好的起点，可以作为未来TTT方法的基线。
- 领域泛化：设计能够从多个不同时期或不同来源的表格数据中学习不变性表示的模型。例如，在金融风控中，模型需要从历史欺诈模式中学习本质规律，并能泛化到新型诈骗手段上。这要求模型具备更强的鲁棒性和对混淆因素的辨识能力。
6.3 为时序表格数据设计专用模型与归纳偏置
当前的通用表格模型，其架构并未显式考虑时间维度。未来的模型设计需要融入对时序的归纳偏置。例如：
- 序列感知的注意力机制：在Transformer架构中，除了关注特征间的交互，还可以引入对时间顺序的注意力，让模型感知到同一实体在不同时间点的状态演变。
- 时间滑窗特征作为默认操作：模型可以内置对滞后特征、滚动统计量（如过去7天均值）的自动生成和选择能力。
- 处理不规则采样时间：许多现实表格数据的时间戳是不均匀的，模型需要能处理这种不规则性。
建立一个专门针对时序表格数据的基准，将极大地加速此类模型的发展，确保研究真正服务于实践中最迫切的需求。
7. 实操启示：如何将新范式融入日常工作与评估
7.1 对研究者的建议
- 明确声明评估设定：在论文中，必须清晰说明预处理管道的细节。是标准的自动化流程，还是包含了特定特征工程？这有助于读者正确理解你模型性能的上下文。
- 进行消融实验：如果你的工作涉及新的模型架构，除了在标准化基准上测试，最好增加一个“在专家特征工程后数据上”的对比实验。这能清晰地展示你的模型是“特征工程大师”还是“学习能力强者”。
- 贡献专家级管道：如果你在某个数据集上取得了突破，并涉及复杂的特征工程，请尽量将这部分管道代码化、开源出来。这能为社区的“轨道B”基准贡献力量，促进更公平、更贴近现实的比较。
- 关注时序与OOD数据集：在选择研究问题时，有意识地纳入具有时间属性或分布外泛化挑战的数据集，推动领域解决更实际的问题。
7.2 对实践者的建议
- 不要迷信“排行榜”模型：在业务中选型时，要警惕那些仅在标准化基准上表现优异的模型。务必在自己的业务数据上，结合你们已有的特征工程流程进行验证。一个在标准化测试中表现平平但稳定性好的模型，可能比一个“刷榜”模型更有业务价值。
- 将特征工程视为核心竞争力：这项研究再次印证了特征工程在表格数据任务中的决定性作用。投资于领域知识积累、特征工程工具链建设和自动化探索，其回报率可能远高于不断尝试最新的模型架构。
- 为时序数据设计专用流程：如果你的数据带有时间属性，从数据划分开始就要严格遵守时序原则。特征工程应侧重于滞后、窗口统计、时间周期特征等。模型评估必须使用时间交叉验证或严格的时序划分。
- 建立内部基准：企业可以建立自己的内部模型基准，其中必须包含两套评估标准：一套是“纯模型”基准（使用相对标准的预处理），另一套是“完整流水线”基准（包含你们团队最佳的特征工程实践）。这样可以更科学地评估引入新模型或新特征带来的真实增益。
这项研究像一面镜子，让我们看清了表格数据研究社区当前评估体系中的裂痕。它呼吁我们从对“模型英雄主义”的崇拜，转向对“数据-特征-模型”协同系统的理性审视。未来的道路在于构建更细致、更贴近现实、更具指导性的评估生态，让研究的光芒能真正照亮实践的道路。这需要模型研究者、基准维护者、开源贡献者和一线工程师的共同努力。作为从业者，我们应当在自己的工作中践行这种分层评估的思想，既追求模型的创新，也尊重特征工程的价值，并在两者之间找到最佳的平衡点，以解决真实世界中的复杂问题。