[智能体-273]：词袋模型（BoW）完整详解：背景 + 解决问题 + 原理 + 实例 + 应用
一、诞生背景
在One-Hot 单字编码阶段：
- One-Hot 只能对单个词语数字化，没办法把整段文本转为机器学习能计算的特征；
- 机器学习（朴素贝叶斯、SVM、逻辑回归）只能接收数值向量，不能直接处理字符串；
- 早期没有 Word2Vec、BERT，缺少文本向量化方案。
词袋（Bag-of-Words）应运而生：把整篇文档转为数字向量，打通「自然文本→机器数值特征」。
时序链路：
ASCII→String→OneHot (单个词)→
BoW (整句向量化)→TF-IDF→Word2Vec→BERT→BGE
二、词袋要解决的核心问题
- 问题 1：原始字符串无法输入机器学习模型：计算机不能直接识别中文 / 英文句子，BoW 实现文本→数值向量。
- 问题 2：OneHot 只能编码单个词，不能表示文档：BoW 基于全局词典，一次性完成整篇文档编码。
- 问题 3：快速低成本构建文本特征，无需神经网络训练：无监督、不用训练、规则统计，早年算力不足下最优落地方案。
⚠️ 词袋不能解决：语序理解、词语语义关联（苹果 / 香蕉同类识别），这是后续 Word2Vec 解决的。
三、工作原理（核心：抛弃语序，只统计词出现频次）
四大执行步骤
- 文档分词：把句子切分成独立词语；
- 构建全局词典：所有文档词语去重，固定词典顺序；
- 词典长度 = 向量维度；
- 逐文档统计每个词出现次数，填充向量。
实操示例（手工演算）
向量的维度与单词的总数一致，每个维度代表一个单词，也就是说，每个单词都各自拥有一个维度的信息（用于单词的统计数量或频次），这样，每句话就拥有了在每个单词维度的投影信息（单词在句子中出现的频次）这就是文本向量的原型，在这里，不需要词向量，后者说，词向量相等于采用的onehot编码。
致命特性
完全舍弃语序：狗咬人、人咬狗分词相同，词袋向量一模一样，无法区分语义。
四、词袋改进：TF-IDF（优化高频虚词权重）
普通 BoW只统计次数，「我、爱吃」这类高频通用词权重过大；
- TF：词在当前文档出现频次
- IDF：词在全部文档的稀缺度，越少出现权重越高作用：压低通用助词权重，放大专属关键词权重。
五、优缺点总结
优点
- 原理简单、实现快、不需要训练；
- 小样本、低算力环境快速生成文本特征。
缺点
- 丢失语序、语法信息；
- 无词语语义：苹果、香蕉同属水果，但向量无相似度；
- 词典越大，向量越稀疏、维度爆炸。
六、落地应用场景
- 垃圾邮件过滤：BoW 提取邮件关键词特征 + 朴素贝叶斯，经典工业老方案；
- 新闻分类：体育 / 财经 / 科技新闻分类基线模型；
- 早期搜索引擎关键词检索：基于词频粗筛选文档；
- 情感分析基线：影评好评 / 差评简易分类。
现状：高精度语义任务淘汰 BoW，改用 Word2Vec/BGE；简单分类、小样本仍可做基线对比。
七、Python 代码示例
python
运行
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer # 原始语料 corpus = [ "我爱吃苹果", "我爱吃香蕉", "苹果很甜" ] #1.基础词袋Count bow = CountVectorizer() bow_vec = bow.fit_transform(corpus).toarray() print("词典：",bow.get_feature_names_out()) print("词袋矩阵：\n",bow_vec) #2.TF-IDF词袋 tfidf = TfidfVectorizer() tf_vec = tfidf.fit_transform(corpus).toarray() print("TF-IDF矩阵：\n",tf_vec)八、前后技术承接
- BoW：计数向量化、无序、无语义
- Word2Vec：上下文训练、稠密向量、近义词靠近，弥补词袋短板
- BERT：动态向量、一词多义
- BGE：段落整体语义表征