2.1 训练数据决定模型上限：多语言与领域数据详解

训练数据决定模型上限：多语言与领域数据详解

数据分布、低资源语言挑战、领域数据质量，一文掌握数据与模型的关系。本节基于《AI工程》第2章「Understanding Foundation Models」— Training Data：Multilingual Models、Domain-Specific Models。

一、为什么说「数据决定上限」？

Chip Huyen 在《AI工程》第2章开篇即强调：训练数据是理解基础模型的关键维度之一。模型架构可以复制，但训练数据的质量、分布、规模难以复制。同一架构在不同数据上训练，表现可能天差地别。理解数据与模型的关系，是选型、微调、评估的基础。

书中将训练数据分为两大类：多语言模型（Multilingual Models）与特定领域模型（Domain-Specific Models）。前者关注数据分布、低资源语言挑战与平衡策略；后者关注领域数据的重要性、数据质量与偏见问题。本节依此展开。

二、多语言模型的挑战（Multilingual Models）

2.1 数据分布不均

《AI工程》指出，典型预训练语料存在严重的语言分布不均。英语通常占主导，中文、欧洲主要语言次之，低资源语言（如小语种、方言）数据稀缺。这直接导致模型在不同语言上的能力差异。