大数据分析与挖掘实战平台 实训报告
一、实训概述
1.1 实训目的
本次实训基于Streamlit搭建大数据分析与挖掘可视化实战平台，实现 Python 基础、数值计算、数据处理、可视化、特征工程、机器学习、集成学习、深度学习的一站式在线运行与展示。通过项目开发，掌握：
- Web 可视化框架 Streamlit 的使用与界面美化
- 多章节、多文件的代码自动加载、执行、输出捕获
- 数据分析全流程工程化实现与异常处理
- 实训教学平台的设计思路与部署逻辑
1.2 实训环境
- 开发工具：Python、VS Code
- 核心库：Streamlit、Pandas、Numpy、Matplotlib、Subprocess、Glob 等
- 运行方式：本地浏览器 Web 界面
- 系统结构：按 8 大章节模块化管理代码文件，支持在线查看与一键运行
1.3 实训内容
完成一个可交互、可扩展、教学型大数据分析实战平台，包含：
- 页面配置与样式美化
- 侧边栏目录导航与章节切换
- 代码文件自动读取与高亮展示
- 代码在线执行与输出 / 报错捕获显示
- Matplotlib 图表自动展示与清理
- 异常捕获、路径处理、工作目录切换
- 8 大章节完整功能实现
二、平台总体设计
2.1 系统架构
整体采用模块化 + 分层设计：
- 界面层：Streamlit 页面、样式、导航
- 控制层：章节选择、文件选择、执行逻辑
- 执行层：代码读取、运行、输出捕获、图表渲染
- 异常层：统一 try-catch、路径错误、执行报错提示
2.2 功能模块
- 页面美化模块：主题色、按钮样式、标题、布局
- 导航模块：侧边栏 8 大章节选择
- 代码展示模块：自动读取对应章节 .py 文件
- 代码执行模块：两种执行方式（subprocess /exec）
- 输出展示模块：标准输出、报错信息、变量自动显示
- 图表模块：Matplotlib 图片 / 画布自动展示与关闭
- 路径模块：绝对路径、工作目录切换、文件安全
三、核心功能实现
3.1 页面配置与美化
使用st.set_page_config设置标题、图标、宽布局；通过自定义 CSS 统一背景、按钮颜色、字体样式，提升教学平台美观度与专业性。
3.2 章节导航设计
构建包含 8 个章节的字典列表，在侧边栏生成下拉选择框，通过next()函数快速定位当前章节，实现章节与内容联动。
3.3 代码文件自动读取
通过os.path获取脚本绝对路径，拼接对应章节目录，筛选.py文件并排序，提供下拉选择，自动读取并以代码块高亮展示。
3.4 代码在线运行（两种方案）
- subprocess 运行：独立进程执行，捕获 stdout/stderr，适合完整脚本运行
- exec 运行：内嵌执行，捕获 print 输出，可展示变量，适合教学演示
两种方式均实现成功 / 报错区分显示。
3.5 图表自动展示
执行 Matplotlib 代码后，自动获取所有 figure 并在页面展示；支持本地 PNG 图片读取；执行完毕统一plt.close('all')防止画布污染。
3.6 异常与路径安全
- 统一
try-except捕获目录不存在、文件缺失、执行报错 - 使用绝对路径避免相对路径问题
- 执行前后切换工作目录，保证数据文件读取正确
- 报错信息以代码块展示，便于定位问题
四、各章节功能实现
4.1 第 1 章 Python 基础知识
- 功能：展示基础语法脚本，独立进程运行，显示输出与报错
- 特点：稳定、隔离性好，适合新手入门
4.2 第 2 章 Numpy
- 功能：数值计算代码展示 + 运行，捕获输出
- 增强：无 print 时自动显示关键变量，便于教学观察
4.3 第 3 章 Pandas
- 功能：数据处理代码在线执行，输出 DataFrame 结果
- 特点：路径安全，异常捕获完善
4.4 第 4 章 Matplotlib
- 功能：代码展示 + 图表在线渲染
- 特点：自动展示画布与图片，无需保存即可查看
4.5 第 5 章 数据预处理与特征工程
- 功能：缺失值、编码、降维等代码一键运行与结果展示
- 特点：输出清晰，便于对比预处理效果
4.6 第 6 章 机器学习与实现
- 功能：线性回归、决策树、SVM、聚类等代码运行
- 特点：完整输出模型指标、分类结果、评估报告
4.7 第 7 章 集成学习与实现
- 功能：随机森林、XGBoost、LightGBM 运行
- 特点：输出 + 图表双展示，直观呈现训练效果
4.8 第 8 章 深度学习与实现
- 功能：神经网络、CNN、RNN 代码运行
- 特点：输出训练过程 + 损失曲线 / 准确率曲线展示
五、运行效果与测试
大数据分析与挖掘实战
5.1 界面效果
- 页面整洁、蓝色主题、按钮醒目
- 侧边栏导航清晰，章节切换流畅
- 代码高亮、输出区分成功 / 错误
- 图表自动渲染，无重叠、无残留
5.2 功能测试
- 所有章节均可正常切换
- 代码文件可正常读取、展示
- 代码可正常执行，输出 / 报错正确捕获
- 图表可正常显示，执行后自动清理
- 路径、异常、权限问题均有友好提示
5.3 典型运行结果
- 成功执行：绿色提示 + 输出内容
- 代码报错：红色提示 + 详细报错堆栈
- 绘图代码：直接显示图片，无需手动保存
六、问题与解决方法
6.1 路径错误
问题：os.listdir找不到目录解决：使用os.path.dirname(os.path.abspath(__file__))获取绝对路径
6.2 Matplotlib 图表重叠 / 不显示
解决：执行前plt.close('all')，执行后统一展示并再次清理
6.3 执行后工作目录错乱
解决：用original_cwd保存原目录，执行完强制切回
6.4 部分代码无 print 无法看到结果
解决：捕获输出为空时，自动提取局部变量展示
6.5 报错信息不清晰
解决：导入traceback，展示完整异常堆栈
七、实训总结
7.1 实训收获
- 掌握Streamlit 快速开发数据科学 Web 平台的完整流程
- 学会代码自动加载、在线运行、输出捕获的工程实现
- 理解大数据分析 8 大模块的工程化组织方式
- 提升异常处理、路径管理、界面美化的实战能力
- 完成一个可直接用于教学 / 实训 / 展示的完整平台
7.2 平台优点
- 界面美观、操作简单、适合教学演示
- 模块化强，可无限扩展章节与代码
- 一键运行、自动展示、无需命令行操作
- 异常友好，报错清晰，便于学习调试
7.3 改进方向
- 增加文件上传功能，支持自定义数据
- 增加结果导出（Excel / 图片 / PDF）
- 增加代码编辑功能，支持在线修改
- 增加模型评估指标自动计算与对比
- 支持云端部署，实现远程访问
八、实训心得
通过本次大数据分析与挖掘实战平台开发，我完整掌握了从界面设计 → 代码组织 → 在线运行 → 结果展示的全流程。平台不仅实现了 8 大章节的教学功能，更锻炼了工程化思维、问题排查能力与模块化开发习惯。该平台可直接作为课程实训工具使用，具有较强的实用性与可扩展性。