面试题：文本表示方法详解——One-hot、Word2Vec、上下文表示、BERT词向量全解析（NLP基础高频考点）
1. 为什么面试官总爱问“文本表示方法”？
1.1 这个问题的本质是什么
任何 NLP 系统，不管是情感分析、文本分类、搜索推荐、智能客服，还是今天的大模型应用，本质上都绕不开一个前提：机器并不真正认识“文字”，它最终只能处理数字。所以，所谓“文本表示方法”，就是把人类语言转成机器可以计算的数值形式。
面试官问这个问题，通常不是只想听你背几个名词，而是想看你是否理解一条完整演进路线：最早我们如何把词“编号”；后来又是怎样让向量带上“语义”；再后来，为什么还要引入“上下文相关表示”。如果你把这条主线答清楚，面试表现就会很稳。
2. 先搞懂：什么叫“文本表示”？
2.1 用一句人话解释
文本表示，就是把“字、词、句子、段落”变成向量。这个向量最好既能让机器算得动，又尽量保留文本的有用信息。
如果表示得太简单，比如只是给每个词排个号，机器虽然能识别“这是哪个词”，却不懂“这个词和别的词像不像”；如果表示得太高级，比如能根据上下文动态理解词义，那机器的理解能力就更强，但代价也更高。
2.2 两类基本思路：离散表示 vs 稠密表示
• 离散表示：典型是 One-hot、BoW、TF-IDF。优点是简单、可解释；缺点是难以表达深层语义。
• 稠密表示：典型是 Word2Vec、FastText、GloVe，以及后来的 ELMo、BERT。优点是低维、紧凑，能表达语义关系。
3. One-hot 编码：最基础也最容易被追问的方法
3.1 One-hot 到底是什么？
One-hot 可以理解成“给每个词安排一个唯一座位”。如果词表里有 10000 个词，那么每个词都会对应一个长度为 10000 的向量。这个向量里只有一个位置是 1，其余全部是 0。哪个位置是 1，就表示它是谁。
例如，词表里“人工智能”的编号是 0，“机器学习”的编号是 1，那么“人工智能”的向量就是 [1,0,0,0,...]，“机器学习”的向量就是 [0,1,0,0,...]。
3.2 它的优点是什么？
第一，简单；第二，无需训练；第三，身份表达准确。对于非常小规模、非常基础的场景，One-hot 依然有解释和教学价值。
3.3 它的缺点为什么面试一定要说？
One-hot 最大的问题有四个：维度太高、向量太稀疏、没有语义信息、难以处理未登录词。比如“猫”和“狗”在语义上很相近，但在 One-hot 空间里，它们彼此一样远，因为两者只是不同位置上的 1，并没有“接近”这一说。
所以，One-hot 适合作为“最初级表示法”来理解，但通常不会作为现代 NLP 的核心表示方式。
4. 词袋模型与 TF-IDF：传统 NLP 时代的实用派
4.1 什么是词袋模型（Bag of Words）？
词袋模型不再只表示“某个词是谁”，而是把整段文本表示成“每个词出现了几次”。也就是说，它关心“词频”，但不关心“词序”。
举个例子，“我 喜欢 机器学习”和“机器学习 我 喜欢”，在词袋模型里几乎一样，因为它们包含的词及出现次数差不多。
4.2 TF-IDF 又比词袋模型聪明在哪？
TF-IDF 在词袋模型的基础上进一步考虑“区分度”。有些词在当前文本里出现很多次，但在所有文本里也都经常出现，比如“的”“是”“我们”，这种词通常没有太大辨别力，应该降权。反过来，如果一个词在当前文档里很重要，但在其他文档里并不常见，它就应该被赋予更高权重。
4.3 它们适合什么场景？
TF-IDF 直到今天在很多检索、关键词提取、传统文本分类场景里仍然有价值，原因很简单：实现成本低、可解释性强、对小数据也比较友好。
4.4 它们的短板在哪里？
最大的短板是：它们仍然看不懂语义，也看不懂上下文。它们不知道“手机”和“移动电话”相近，也不知道“苹果”在不同句子里可能是水果，也可能是品牌。
5. Word2Vec：让词向量开始“带语义”
5.1 Word2Vec 的核心思想是什么？
Word2Vec 的核心思想可以概括为一句经典人话：一个词的意思，往往体现在它经常和哪些词一起出现。也就是说，模型通过观察海量语料中的共现关系，学习每个词的向量表示。
如果两个词经常出现在相似上下文中，比如“苹果”“梨”“橙子”，那么它们学到的向量就会比较接近；如果语义差别很大，比如“苹果”和“猫”，向量距离通常就更远。
5.2 为什么说它比 One-hot 进步很大？
因为 Word2Vec 学到的是低维、稠密、可训练的向量。它不再只是“给词编号”，而是让向量本身携带语义信息。所以，向量之间的距离、相似度、方向，都开始有实际意义。
5.3 Word2Vec 的两种经典模型：CBOW 和 Skip-Gram
CBOW 和 Skip-Gram 是面试里一定会被问到的两种结构。
• CBOW：给定上下文词，预测中心词。它像“完形填空”。例如：我 / 喜欢 / ___ / 机器 / 学习，让模型去猜中间缺的词。
• Skip-Gram：给定中心词，预测它周围的上下文词。它像“从一个词出发，反推它通常会和谁一起出现”。
通常来说，CBOW 训练更快，对高频词表现不错；Skip-Gram 往往对低频词更友好，学习语义关系也常常更好一些。
5.4 Word2Vec 的优缺点
它的优点是：能表达语义、维度较低、工业界曾大量使用。缺点也很明显：同一个词只有一个固定向量，所以对多义词处理能力有限；另外，对未登录词也不够友好。
5.5 FastText 为什么常被一起提到？
FastText 可以理解为 Word2Vec 的一个重要升级版。它不只看整个词，还把词拆成字符 n-gram 来学习，因此在处理新词、错拼词、形态变化词时更有优势。比如在中文里，它对一些组合词、行业词、长尾词通常更友好。
6. 上下文相关表示：为什么现代 NLP 还要继续升级？
6.1 静态词向量的问题到底出在哪？
不管是 Word2Vec、GloVe 还是 FastText，本质上都属于静态词向量：一个词训练完成后，就对应一个固定向量。可现实语言不是这样。很多词是多义的，它们在不同上下文里的含义会变化。
比如“银行”，在“我去银行办理贷款”里是金融机构；在其他特殊语境里，它可能需要结合上下文重新理解。如果始终只给它一个固定向量，模型就很难准确区分。
6.2 什么叫“上下文相关表示”？
上下文相关表示的核心是：同一个词，在不同句子里，应该生成不同的向量。这类思想在 ELMo、BERT 以及后续一大批预训练语言模型中被广泛采用。
6.3 可以怎么通俗理解 BERT 这一类模型？
你可以把 BERT 理解成一个特别擅长“阅读上下文”的模型。它不是先孤立地看一个词，而是把这个词放进整句话里，同时参考左边和右边的信息，再生成该词的表示。所以，它更容易理解句子层面的语义关系。
6.4 为什么这种表示方式更强？
因为很多 NLP 任务，本质上不是识别“这个词通常是什么意思”，而是识别“这个词在当前这句话里是什么意思”。尤其是在问答、信息抽取、检索排序、情感分析等任务中，语境往往决定结果。
7. 从“词表示”到“句子表示”和“文档表示”
7.1 为什么只会词向量还不够？
很多业务任务的输入并不是单个词，而是一整句话、一个问题、甚至一篇长文。因此，除了词表示，我们还需要句向量和文档向量。
7.2 常见的句子/文档表示思路
• 平均池化：把一句话里所有词向量做平均，简单但粗糙。
• 加权平均：常见做法是结合 TF-IDF 权重。
• Doc2Vec：较早期的文档向量方法。
• BERT / Sentence-BERT：直接为句子或文本段生成更强的语义表示，适合检索、匹配、聚类等任务。
在现代项目里，尤其是检索增强生成（RAG）、语义搜索、FAQ 匹配等场景，句向量或段落向量的作用非常关键。
8. 面试高频追问，建议这样回答
8.1 One-hot 有什么缺点？
标准回答可以概括成四点：高维、稀疏、无法表达语义关系、难处理未登录词。
8.2 Word2Vec 的两种模型是什么？
CBOW 和 Skip-Gram。CBOW 用上下文预测中心词，训练快；Skip-Gram 用中心词预测上下文，对低频词更友好。
8.3 上下文相关表示与静态词向量有什么区别？
静态词向量给每个词一个固定表示；上下文相关表示会根据句子语境动态生成词向量，因此更适合处理多义词和复杂语义。
8.4 遇到 OOV（未登录词）怎么办？
可以通过子词建模、字符级表示、FastText、BPE/WordPiece 等方式缓解；在现代预训练模型里，这类问题已经比早期词向量时代改善很多。
8.5 项目里应该怎么选？
如果追求简单可解释、数据量不大，可以先考虑 TF-IDF；如果要做相似词、传统语义表示，可以用 Word2Vec / FastText；如果任务对语义理解要求高，通常优先考虑 BERT 类上下文表示。真正落地时，还要同时考虑训练成本、推理成本、数据规模和时延要求。
9. 总结：把“文本表示方法”答完整，关键在于讲清楚演进逻辑
如果把这道面试题浓缩成一句话，那就是：文本表示方法经历了从离散表示到分布式表示，再到上下文相关表示的演进。
最开始的 One-hot 解决的是“词怎么编码”的问题；BoW 和 TF-IDF 解决的是“文本怎么统计”的问题；Word2Vec 解决的是“词怎么拥有语义”的问题；而 ELMo、BERT 这一类上下文表示，解决的是“同一个词在不同句子里如何正确理解”的问题。
所以，真正高质量的面试回答，不是孤立地背定义，而是把这条升级路线讲清楚，再顺手补一句各自的优缺点和适用场景。这样既显得基础扎实，也显得理解到位。
附：30 秒面试快答模板
“文本表示方法就是把文本转成机器可计算的向量表示。早期有 One-hot、BoW、TF-IDF，这类方法简单、可解释，但维度高、稀疏，而且缺少语义。后来有 Word2Vec、FastText 这类分布式词向量，能把语义相近的词映射到相近向量。再往后是 ELMo、BERT 这类上下文相关表示，它们能根据语境动态生成词向量，更适合处理多义词和复杂语义任务。项目里怎么选，要看成本、数据量和任务精度要求。”