用Python爬取中国大学MOOC近30万条评论，这份数据分析实战指南请收好

从34万条MOOC评论中挖掘教育趋势：Python数据分析实战指南

当在线教育平台积累的海量用户评价遇上Python的数据分析能力，会产生怎样的化学反应？这份指南将带您深入中国大学MOOC平台的34万条课程评论数据，揭示隐藏在文字背后的教育趋势与用户偏好。

1. 数据获取与清洗：构建高质量分析基础

1.1 数据来源与获取策略

获取MOOC平台评论数据通常有三种合法途径：

• 官方API接口（需申请权限）
• 网页爬虫（遵守robots协议）
• 第三方数据市场购买

# 示例：通过requests模拟API请求获取评论数据 import requests import pandas as pd def fetch_comments(course_id, max_pages=10): comments = [] for page in range(1, max_pages+1): params = { 'courseId': course_id, 'pageIndex': page, 'pageSize': 20, 'orderBy': 3 # 按时间排序 } response = requests.get('https://api.mooc.com/comments', params=params) data = response.json() comments.extend(data['result']['list']) if page >= data['result']['totalPages']: break return pd.DataFrame(comments)

1.2 数据清洗关键步骤

原始评论数据通常包含以下需要清洗的问题：

# 数据清洗示例代码 def clean_comment_text(text): # 移除HTML标签 text = re.sub(r'<[^>]+>', '', text) # 移除特殊符号 text = re.sub(r'[^\w\s\u4e00-\u9fa5]', '', text) # 统一转换为简体中文 text = OpenCC('t2s').convert(text) return text.strip()

2. 情感分析与评分挖掘：量化课程满意度

2.1 基于SnowNLP的情感值计算

中文情感分析库SnowNLP能够将非结构化的评论文本转化为可量化的情感值（0-1）：

from snownlp import SnowNLP def analyze_sentiment(comment): try: return SnowNLP(comment).sentiments except: return 0.5 # 中性默认值 # 应用情感分析 comments['sentiment'] = comments['content'].apply(analyze_sentiment)

2.2 评分分布可视化

使用Matplotlib绘制评分分布雷达图，可直观比较不同维度满意度：

import matplotlib.pyplot as plt # 构建评分数据 rating_stats = comments.groupby('mark').size() labels = ['1星', '2星', '3星', '4星', '5星'] values = [rating_stats.get(i, 0) for i in range(1,6)] # 绘制雷达图 fig = plt.figure(figsize=(8,8)) ax = fig.add_subplot(111, polar=True) ax.plot(angles, values, 'o-', linewidth=2) ax.fill(angles, values, alpha=0.25) ax.set_thetagrids(angles * 180/np.pi, labels) plt.show()

2.3 情感-评分对比矩阵

通过交叉分析发现有趣现象：

3. 文本挖掘与主题建模：发现课程热点话题

3.1 关键词提取与词云生成

使用jieba和wordcloud库提取评论关键词：

from wordcloud import WordCloud import jieba.analyse # 提取关键词 text = ' '.join(comments['content']) keywords = jieba.analyse.extract_tags(text, topK=100, withWeight=True) # 生成词云 wc = WordCloud(font_path='simhei.ttf', background_color='white') wc.generate_from_frequencies(dict(keywords)) plt.imshow(wc) plt.axis('off') plt.show()

3.2 LDA主题模型分析

通过无监督学习发现潜在讨论主题：

from sklearn.feature_extraction.text import CountVectorizer from sklearn.decomposition import LatentDirichletAllocation # 文本向量化 vectorizer = CountVectorizer(max_df=0.95, min_df=2) X = vectorizer.fit_transform(comments['content']) # 训练LDA模型 lda = LatentDirichletAllocation(n_components=5, random_state=42) lda.fit(X) # 输出主题关键词 for idx, topic in enumerate(lda.components_): print(f"主题{idx+1}:") print([vectorizer.get_feature_names_out()[i] for i in topic.argsort()[-10:]])

典型主题分布示例：

1. 教学效果(32%)：讲解、清晰、易懂、深入浅出
2. 课程内容(28%)：实用、前沿、系统、案例
3. 学习体验(20%)：作业、考试、难度、压力
4. 教师风格(12%)：幽默、严谨、互动、负责
5. 平台体验(8%)：卡顿、界面、功能、客服

4. 多维交叉分析：洞察深层教育趋势

4.1 课程类型与满意度关联

不同学科门类的评价差异显著：

4.2 时间维度分析

评论情感随时间的变化趋势揭示教学改进点：

# 按周分组计算平均情感值 comments['week'] = (comments['timestamp'] - comments['timestamp'].min()).dt.days // 7 weekly_sentiment = comments.groupby('week')['sentiment'].mean() # 绘制趋势图 plt.plot(weekly_sentiment.index, weekly_sentiment.values) plt.xlabel('课程周数') plt.ylabel('情感均值') plt.title('课程评价随时间变化趋势') plt.grid()

典型趋势模式：

• U型曲线：初期期待高，中期遇到困难评价下降，后期收获感提升
• 持续上升型：教学内容逐步深入，学员满意度递增
• 波动型：与具体章节难度正相关

4.3 用户画像分析

基于评论行为的用户分群：

from sklearn.cluster import KMeans # 构建用户特征矩阵 user_features = pd.pivot_table(comments, index='user_id', values=['sentiment', 'mark'], aggfunc=['mean', 'count']) # K-means聚类 kmeans = KMeans(n_clusters=3) user_features['cluster'] = kmeans.fit_predict(user_features)

三类典型用户群体特征：

1. 积极学习者(15%)：高频评论、高评分、情感积极
2. 问题反馈者(60%)：中等频率、评分波动、具体建议
3. 消极批评者(25%)：低评分、情感负面、简短评价

5. 分析成果落地：从数据到决策

5.1 课程优化建议生成

基于分析结果自动生成改进建议模板：

def generate_suggestions(course_data): suggestions = [] if course_data['sentiment'] < 0.4: suggestions.append("课程整体评价较低，建议全面检查内容设计") if '作业' in course_data['top_keywords']: suggestions.append(f"作业相关讨论占比{course_data['hw_ratio']}%，考虑调整作业量和难度") return suggestions

5.2 个性化推荐系统增强

将评论分析结果融入推荐算法：

def hybrid_recommend(user_id, top_n=5): # 基于内容的推荐 content_based = get_content_based_rec(user_id) # 基于评论情感的课程权重 sentiment_scores = comments.groupby('course_id')['sentiment'].mean() # 混合推荐 recommendations = content_based.merge(sentiment_scores, on='course_id') return recommendations.sort_values('sentiment', ascending=False).head(top_n)

5.3 教学效果评估仪表盘

使用Dash构建交互式可视化面板：

import dash from dash import dcc, html app = dash.Dash(__name__) app.layout = html.Div([ dcc.Graph(id='sentiment-trend'), dcc.Dropdown(id='course-selector', options=[{'label': c, 'value': c} for c in courses]), html.Div(id='keyword-cloud') ]) @app.callback( Output('sentiment-trend', 'figure'), Input('course-selector', 'value')) def update_graph(selected_course): # 返回课程对应的情感趋势图 return generate_trend_plot(selected_course)

6. 实战案例：Python全栈开发课程深度分析

以某热门编程课程为例，展示完整分析流程：

1. 数据概况：

   • 评论数量：8,742条
   • 时间跨度：2022年3月-2023年6月
   • 平均评分：4.3/5
   • 情感均值：0.67

2. 关键发现：

   • 第4周（面向对象编程）差评率突增42%
   • "项目实战"关键词出现频率是竞品的2.3倍
   • 晚8-10点学习用户留存率最高（78%）

3. 优化建议：

   • 增加第4章节的示例代码和调试指南
   • 强化项目案例的文档支持
   • 在高峰时段增加在线答疑服务

# 案例专项分析代码示例 case_study = comments[comments['course_id'] == 'CS101'] weekly_sentiment = case_study.groupby('week')['sentiment'].mean() # 识别异常周 threshold = weekly_sentiment.mean() - weekly_sentiment.std() problem_weeks = weekly_sentiment[weekly_sentiment < threshold] print(f"需重点改进的周次：{list(problem_weeks.index)}")

7. 分析技巧进阶与避坑指南

7.1 提升分析深度的专业技巧

• 时间序列分解：使用STL分解识别评价数据的季节性和趋势成分
• 网络文本分析：构建共现网络发现概念之间的关联关系
• 深度语义分析：应用BERT等预训练模型捕捉评论中的隐含语义

7.2 常见问题与解决方案

7.3 性能优化策略

处理大规模评论数据时的实用技巧：

# 使用Dask加速大数据处理 import dask.dataframe as dd ddf = dd.from_pandas(comments, npartitions=10) result = ddf.groupby('course_id')['sentiment'].mean().compute() # 内存优化技巧 comments['content'] = comments['content'].astype('category') comments['user_id'] = comments['user_id'].astype('category')

在实际项目中，我们发现最耗时的环节往往是数据清洗和特征工程，而非模型训练本身。通过合理的数据采样和并行计算，可以将34万条评论的分析时间从4小时缩短到30分钟以内。