Lost in the Pipeline: How Well Do Large Language Models Handle Data Preparation?

文章总结与翻译

一、主要内容

该研究聚焦大型语言模型（LLMs）在表格数据准备任务中的应用效果，通过系统实验对比通用型LLMs与专为结构化数据优化的表格型LLMs（TLLMs）的性能，并与传统数据准备工具进行间接参照。

核心研究内容

1. 任务覆盖：测试LLMs在数据探查、依赖关系发现、数据规整（列重命名、拆分、合并等）、数据清洗（含标准化、缺失值填充、异常值检测、去重等子任务）中的表现。
2. 实验设计：
   • 选取6个通用型LLMs（Claude、Gemini、GPT-4o等）和2个表格型LLMs（TableGPT2、TableLLM）；
   • 基于美国房地产交易数据集生成含10%、30%、50%错误率的污染数据集，注入异常值、格式不一致、缺失值、重复项等典型数据问题；
   • 构建包含传统指标（完整性、准确性）和新增指标（指导性、可用性、针对性）的质量评估模型，并通过61名不同专业背景用户的调研验证模型合理性。
3. 关键发现：
   • 通用型LLMs整体表现优于表格型LLMs，在数据填充、去重、异常值检测等任务中展现出一定实用性；
   • 所有LLMs的性能随数据污染程度升高而下降，且在依赖关系发现、非精确重复项检测等任务中表现薄弱；
   • 用户对LLM输出的需求存在专业差异：资深数据从业者偏好灵活输出，新手更倾向结构化指