Table as a Modality for Large Language Models

论文核心内容与创新点总结

一、主要内容

本文聚焦大语言模型（LLMs）在表格推理任务中的局限性，提出将表格视为独立模态的解决方案。现有LLMs处理表格时多采用序列化文本转换方式，导致表格特有的结构信息（如排列不变性）丢失，进而影响推理性能。为此，作者设计了StructQA基准数据集用于评估模型的表格结构理解能力，并提出TAMO（Table as a Modality）框架——通过超图神经网络构建表格全局编码器，将表格结构信息与文本信息融合输入LLMs，在不修改LLM核心参数的前提下提升其表格推理泛化能力。

实验验证覆盖5个主流表格推理数据集（StructQA、HiTab、WikiTQ、WikiSQL、FeTaQA），结果显示TAMO平均相对性能提升42.65%，在排列不变性测试中表现优于GPT-4等先进模型，且可作为"即插即用"模块适配多种LLMs（如Llama2、Mistral）。

二、创新点

1. 模态定位创新：首次将表格视为独立于文本的模态，突破传统序列化处理思路，通过模态融合解决结构信息丢失问题。
2. 超图编码架构：采用超图神经网络建模表格结构，天然支持排列不变性和层级关系，可处理从简单平面表格到复杂层级表格的各类数据。
3. 轻量融合方案：设计模态对齐接口，通过可学习特征将表格结构嵌入注入LLMs，无需微调LLM核心参数，兼顾效率与兼容性。
4. 专用基准数据集：构建StructQA数据集，从直