大众点评情感分析数据集划分实战：按店铺隔离与分层抽样策略详解

1. 项目概述：为什么“切”数据比“建”模型更重要？

刚入行做情感分析那会儿，我和很多人一样，拿到像大众点评这类评论文本数据集，第一反应就是赶紧上模型，BERT、LSTM一顿操作，然后看着训练集上99%的准确率沾沾自喜。直到把模型丢到真实场景里，效果一塌糊涂，才发现问题出在最开始、也最容易被忽视的一步：数据集划分。这可不是把数据随便切成70%、15%、15%三份就完事了。大众点评的评论数据有其鲜明的特点：用户活跃度差异巨大（有的用户刷了几百条好评，有的只发过一条差评）、评论时间跨度长、店铺类型和地域分布不均。如果划分不当，就会导致“数据泄露”，让模型在训练时“偷看”了测试集的答案，或者让评估结果完全失真，无法反映模型在未知数据上的真实能力。

今天，我们就以“大众点评情感数据集”为具体案例，手把手拆解数据集划分背后的核心逻辑、常见陷阱以及一套可复现的、严谨的划分方案。无论你是刚接触NLP的学生，还是需要快速上线一个情感分析模块的工程师，理解并做好这一步，能为你后续的模型开发节省大量返工时间，直接提升项目成功率。我们将围绕几个核心问题展开：面对非独立同分布的数据，如何定义“划分”？针对点评数据的具体特性，应该按什么维度来切分？以及，如何用代码稳健地实现这一过程，并验证划分的有效性？

2. 核心思路拆解：超越随机分割的维度思考

2.1 理解大众点评数据的独特结构

大众点评数据集不是一个“袋子里的弹珠”，可以随意摇晃后抓取。它的每条数据（评论）附着于多个维度的上下文信息，这些信息之间存在着复杂的依赖关系。盲目随机分割，极易破坏这些关系，导致评估偏差。我们需要先解剖数据的结构：

1. 用户维度：一个用户可能对多家店铺进行评论。如果随机分割，同一个用户的评论可能同时出现在训练集和测试集中。这意味着模型可能在训练时“学习”了某个用户的表达习惯（例如，总爱用“绝绝子”来形容一切美食），然后在测试时遇到同一用户的另一条评论，这并不能真正测试模型对“新用户”的泛化能力。
2. 店铺维度：这是情感分析中极其重要的维度。不同店铺（如川菜馆 vs 西餐厅）的评论主题、用词、情感表达方式差异巨大。如果训练集里全是川菜馆的评论，测试集里全是西餐厅的评论，模型很可能因为领域差异而表现不佳。我们需要确保测试集中的店铺对于模型来说是“未曾谋面”的。
3. 时间维度：评论具有时间戳。语言会演变，网络热词层出不穷（比如从“YYDS”到“泰酷辣”）。如果我们按时间顺序划分，让模型用过去的数据预测未来的趋势，这符合实际应用场景。但若随机打乱时间，就可能用“未来”的流行语去训练模型，再让它判断“过去”的评论，这会造成时间信息泄露，评估结果过于乐观。
4. 地域/城市维度：不同城市的消费习惯、方言词汇、评价标准可能不同。例如，对“口味重”的定义在成都和上海可能截然不同。确保训练集和测试集在地域分布上相对均衡，或明确按城市划分进行地域化模型训练，是另一个考量点。

注意：我们追求的不是在所有这些维度上都做到绝对隔离，那会导致数据利用率极低。核心思路是根据你的模型最终要解决的核心问题，确定最关键的一个或几个需要隔离的维度。对于大多数情感分析任务，隔离店铺通常是第一优先级，因为这最贴近“模型遇到一个新店铺时能否准确判断其评论情感”的真实场景。

2.2 划分策略选型：从简单到复杂

基于以上分析，我们可以设计出几种由简到繁的划分策略：

1. 按店铺划分：这是最推荐也是实践中最稳健的基线策略。将所有店铺ID列出，按一定比例（如7:1.5:1.5）随机划分到训练集、验证集和测试集。然后，将各店铺下的所有评论归入对应的集合。这确保了模型在训练时从未见过测试集中的任何一家店铺，评估的是模型跨店铺的泛化能力。
2. 按用户划分：如果你的研究重点是建模用户行为或防止用户习惯泄露，可以采用此策略。将所有用户ID划分开，确保同一用户的所有评论只出现在一个集合中。这对于个性化推荐或用户画像相关任务可能很重要，但对于通用的店铺评论情感分析，其必要性次于按店铺划分。
3. 按时间划分：例如，将2023年1月之前的评论作为训练集，2023年1月至6月的作为验证集，2023年6月以后的作为测试集。这模拟了用历史数据训练模型，并预测未来评论的场景，对捕捉语言变化趋势很有价值。
4. 分层抽样：在按店铺划分的基础上，我们还需要考虑样本的均衡性。大众点评数据中，五星好评和一星差评的数量可能远多于中间评分。如果简单随机分，可能导致某个集合中差评样本过少。因此，在划分店铺时，可以尝试按店铺的平均情感标签（或标签分布）进行分层，确保每个集合中正、负、中性评论的比例与整体数据集大致相当。

对于入门和绝大多数应用场景，我强烈建议从“按店铺划分 + 评分分层抽样”的组合策略开始。它简单、有效，且能最大程度地模拟真实应用中的挑战。

3. 实操准备：数据探查与清洗

在动刀切割之前，我们必须先“摸清家底”。一份脏乱、不平衡的数据，无论怎么划分，都难以训练出好模型。

3.1 数据加载与初步观察

假设我们有一个CSV文件dianping_reviews.csv，包含字段：review_id,user_id,shop_id,rating（1-5星）,review_text,review_time,city。

import pandas as pd import numpy as np from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt # 加载数据 df = pd.read_csv('dianping_reviews.csv', parse_dates=['review_time']) print(f"数据集总样本数：{len(df)}") print(f"唯一用户数：{df['user_id'].nunique()}") print(f"唯一店铺数：{df['shop_id'].nunique()}") print(f"时间范围：{df['review_time'].min()} 到 {df['review_time'].max()}") print("\n评分分布：") print(df['rating'].value_counts().sort_index())

运行这段代码，你可能会立刻发现一些问题：比如评分严重偏向5星和4星，1星评论寥寥无几；或者有些店铺有上万条评论，而大部分店铺只有几条。这些信息至关重要。

3.2 关键预处理步骤

1. 定义情感标签：通常我们将5星、4星定义为“正面”（1），3星定义为“中性”（0），2星、1星定义为“负面”（-1或2，取决于分类任务）。对于二分类，可以合并中性和负面，或只保留正面和负面。

   def rating_to_label(rating): if rating >= 4: return 1 # 正面 elif rating == 3: return 0 # 中性 else: return 2 # 负面 df['label'] = df['rating'].apply(rating_to_label)

2. 处理极端不平衡：如果负面样本（label=2）极少（比如少于5%），直接训练模型会倾向于将所有样本预测为正面。此时需要考虑：
   • 上采样：复制少数类样本（简单但可能导致过拟合）。
   • 下采样：随机丢弃多数类样本（浪费数据）。
   • 使用类别权重：在损失函数中给少数类更高的权重（最推荐，不改变数据分布）。
   • 寻找更多数据：根本解决方案。

   实操心得：对于点评数据，我通常先尝试“类别权重”法。如果效果仍不佳，再谨慎地结合一些简单的文本增强技术（如EDA：同义词替换、随机插入等）对少数类样本进行扩充，而不是直接复制。

3. 清洗文本：去除无关字符、超链接、表情符号编码（如😂）、多余空格等。对于中文，分词是重要一步，可以使用jieba或基于预训练模型的分词器。

4. 手把手实现按店铺划分

这是本次的核心操作。我们将实现一个考虑店铺分层（按标签分布）的划分函数。

4.1 构建店铺级元数据

首先，我们需要为每个店铺计算一些统计信息，用于分层。

# 计算每个店铺的评论数、平均标签（或标签分布） shop_stats = df.groupby('shop_id').agg( review_count=('review_id', 'count'), # 计算店铺的平均情感得分（假设label 1正，0中，2负，可以计算均值，值越小越负面） avg_label=('label', 'mean'), # 或者，计算正面评论占比 positive_ratio=('label', lambda x: (x == 1).sum() / len(x)) ).reset_index() # 根据店铺的评论数或情感分布进行分桶（分层） # 例如，按正面评论比例分三层：低(0-0.3)，中(0.3-0.7)，高(0.7-1) shop_stats['sentiment_bucket'] = pd.cut(shop_stats['positive_ratio'], bins=[0, 0.3, 0.7, 1.0], labels=['low', 'medium', 'high'], include_lowest=True) print(shop_stats['sentiment_bucket'].value_counts())

4.2 实现分层划分

使用sklearn的StratifiedShuffleSplit或train_test_split的stratify参数，但注意这是对店铺进行分层，而不是对单条评论。

from sklearn.model_selection import train_test_split # 首先，划分出测试集对应的店铺（隔离最彻底的数据） # 这里对店铺ID进行分层划分，分层依据是 sentiment_bucket shop_ids = shop_stats['shop_id'].values shop_strata = shop_stats['sentiment_bucket'].values # 先分出测试集店铺 (15%) shop_ids_temp, shop_ids_test = train_test_split( shop_ids, test_size=0.15, random_state=42, stratify=shop_strata # 关键：按情感桶分层 ) # 再从剩余店铺中分出验证集店铺 (15% / 85% ≈ 17.65% of remaining) # 需要重新计算剩余店铺的 strata remaining_stats = shop_stats[shop_stats['shop_id'].isin(shop_ids_temp)] shop_strata_temp = remaining_stats.set_index('shop_id').loc[shop_ids_temp, 'sentiment_bucket'].values shop_ids_train, shop_ids_val = train_test_split( shop_ids_temp, test_size=0.1765, # 0.15 / (1 - 0.15) random_state=42, stratify=shop_strata_temp ) print(f"训练集店铺数：{len(shop_ids_train)}") print(f"验证集店铺数：{len(shop_ids_val)}") print(f"测试集店铺数：{len(shop_ids_test)}") # 根据店铺ID分配评论数据 df_train = df[df['shop_id'].isin(shop_ids_train)].copy() df_val = df[df['shop_id'].isin(shop_ids_val)].copy() df_test = df[df['shop_id'].isin(shop_ids_test)].copy() print(f"\n评论数据划分结果：") print(f"训练集评论数：{len(df_train)}") print(f"验证集评论数：{len(df_val)}") print(f"测试集评论数：{len(df_test)}")

4.3 验证划分效果

划分完成后，必须进行交叉检查，确保没有“数据泄露”并评估分布一致性。

def check_leakage(df1, df2, column='user_id'): """检查两个数据集在某一列上是否有交集""" set1 = set(df1[column].unique()) set2 = set(df2[column].unique()) intersection = set1.intersection(set2) print(f"{column} 交集数量：{len(intersection)}") return len(intersection) == 0 print("检查店铺ID泄露：") print(f"训练集 vs 验证集: {check_leakage(df_train, df_val, 'shop_id')}") print(f"训练集 vs 测试集: {check_leakage(df_train, df_test, 'shop_id')}") print(f"验证集 vs 测试集: {check_leakage(df_val, df_test, 'shop_id')}") print("\n检查用户ID泄露（可能允许，但需知晓）：") check_leakage(df_train, df_test, 'user_id') # 检查标签分布 fig, axes = plt.subplots(1, 3, figsize=(15, 4)) for ax, (name, data) in zip(axes, [('Train', df_train), ('Val', df_val), ('Test', df_test)]): data['label'].value_counts().sort_index().plot(kind='bar', ax=ax, title=f'{name} Set Label Distribution') ax.set_xlabel('Label') ax.set_ylabel('Count') plt.tight_layout() plt.show() # 检查店铺属性分布（如城市）是否严重偏移 if 'city' in df.columns: print("\n各集合城市分布TOP5:") for name, data in [('Train', df_train), ('Val', df_val), ('Test', df_test)]: print(f"{name}: {data['city'].value_counts().head(5).to_dict()}")

5. 高级策略与边界情况处理

5.1 处理“超级店铺”和“长尾店铺”

在实际数据中，你会遇到少数“超级店铺”（评论数极多）和大量“长尾店铺”（评论数极少，如只有1-2条）。这给划分带来挑战：

• 超级店铺：如果某个店铺有10万条评论，把它整个分到测试集，会导致测试集规模剧增且单一店铺影响过大。可以考虑将其评论按时间再分割，一部分入训练集，一部分入测试集，但这破坏了店铺隔离原则，需谨慎。更好的做法是将其视为一个特殊领域，在评估时单独分析其表现。
• 长尾店铺：一个店铺只有1条评论。如果把它分到测试集，模型完全无法从该店铺学习任何信息，测试时遇到也情有可原。常见的处理方法是设定一个最低评论数阈值（例如，只保留至少有5条评论的店铺用于划分）。对于被过滤掉的店铺，可以将其数据全部放入训练集，用于增强模型的词汇和模式学习，但不参与店铺泛化能力的核心评估。

# 过滤掉评论数过少的店铺 MIN_REVIEWS_PER_SHOP = 5 valid_shops = shop_stats[shop_stats['review_count'] >= MIN_REVIEWS_PER_SHOP]['shop_id'] df_filtered = df[df['shop_id'].isin(valid_shops)].copy() # 对 df_filtered 使用上述划分策略 df_filtered_out = df[~df['shop_id'].isin(valid_shops)].copy() # 将过滤掉的店铺数据全部加入训练集（可选） df_train_final = pd.concat([df_train_from_filtered, df_filtered_out])

5.2 时间感知的划分

如果你的模型需要捕捉趋势，可以采用时间划分。但要注意，这通常与店铺划分冲突（因为需要按时间点切割所有店铺的评论）。一种混合策略是：先按店铺划分，然后在每个店铺内部，按时间顺序分割其评论。例如，对于每个店铺，取前80%时间的评论作为训练部分，后20%作为测试部分。这既保证了测试店铺对于训练集是全新的（在店铺维度），又保证了测试评论在时间上晚于训练评论（在时间维度），模拟了最真实的场景，但实现更复杂。

5.3 多轮划分与稳定性评估

一次随机划分的结果可能具有偶然性。为了评估模型性能的稳定性，可以进行多轮随机划分（例如5轮或10轮），每次使用不同的随机种子，然后取模型在各轮测试集上性能的平均值和标准差。这能告诉你，你的模型性能在多大程度上依赖于这次特定的数据划分。

6. 常见陷阱与排查清单

在实际操作中，我踩过不少坑，这里总结一份排查清单，帮你快速定位问题：

核心心得：数据集划分不是一次性任务，而应与你的模型评估流程紧密结合。每次尝试新的模型架构或特征时，都应该在同一份固定划分的数据集上进行，这样才能进行公平的比较。因此，划分完成后，最好将df_train、df_val、df_test的ID列表或处理后的数据本身保存为文件（如train_ids.txt,val_ids.txt,test_ids.txt），确保实验的可复现性。

最后，记住黄金法则：你的测试集应该尽可能地模拟模型最终要面对的真实、未知数据的样子。对于大众点评情感分析，那就是“一个从未在训练中出现过的新店铺的一条新评论”。牢牢抓住这个核心去设计你的划分方案，你就已经超越了90%的随意切分数据集的起点。