【医学数据分析与挖掘】（一）：概述
写在前面：
作为一名信息资源管理（情报学）的学生，我的主要研究方向是 NLP 与管理学、医疗领域的交叉应用。本系列笔记是对《医学信息分析与挖掘》课程的系统复盘。从本科阶段的“用统计看懂数据”，到研究生阶段的“用算法挖掘隐藏知识”，思维的转变是第一步。
一、 核心概念辨析：分析与挖掘的本质差异
在学术写作和项目实战中，严谨的术语使用是基础。数据分析（DA）与数据挖掘（DM）虽然常被并列提及，但底层逻辑截然不同：
| 维度 | 数据分析 (Data Analysis) | 数据挖掘 / 知识发现 (KDD) |
|---|---|---|
| 数据前提 | 默认数据是“高质量、无误”的 | 面对海量、存在噪声的大数据，必须预处理 |
| 核心驱动 | 统计学思想 | 机器学习与相关算法 |
| 输出结果 | 提取有用信息 (如：折线图趋势) | 发现事先未知的知识 (如：癌症发病概率) |
| 两者关系 | 基础（将数据提炼为信息） | 升华（对信息进行加工，需调整先验约束） |
二、 数据载体：我们从哪里“挖矿”？
数据挖掘也称“知识发现”（KDD）或“数据考古”，其质量高度依赖于底层数据的存储与流转方式。
1. 数据库 (DB) vs 数据仓库 (DW)
- 数据库 (DB)：侧重于日常事务处理，支持“增删改查”，要求数据强一致性且无冗余。
- 数据仓库 (DW)：是挖掘算法的核心数据源泉。具备面向主题、集成、时变、非易变四大特征。通常只读不改，直接支撑管理层决策。
2. 常见挖掘数据类型
- 数值型数据：如关系矩阵、事务数据库（每一条记录代表一个独立事务，如一张处方）。
- 复杂数据：序列数据（时间相关）、数据流数据（实时监控）、图/网状数据（知识图谱）、多媒体数据（医疗影像/病历文本）。
三、 数据挖掘四大任务体系
对于医疗和情报领域的实战，数据挖掘主要解决以下四类核心任务：
- 频繁模式 / 关联分析：发现事物间的共现规律（经典案例：啤酒与尿不湿）。需注意结论往往具有特定的场景约束条件。
- 分类与回归 (Classification & Regression)：属于监督学习（全标记数据）。代表算法包括决策树、逻辑回归（Logistic Regression）以及随机森林等。
- 聚类分析 (Clustering)：属于无监督学习（无标记数据，机器自动寻找特征聚类）。代表算法为 K-Means。
- 离群点分析 (Outlier Analysis)：挖掘偶尔发生的异常事件。在医疗领域常用于异常诊断，金融领域常用于诈骗检测。
💡 科研思考：半监督学习 (Semi-supervised Learning)
结合少量已标记数据和大量未标记数据。在我的医疗 NLP 研究中，由于获取专业医生手工标注的病历/反馈数据成本极高，半监督学习将是极具实战价值的突破口。
四、 医疗大数据落地的三大挑战
理论走向实战，往往会遇到以下阻碍：
- 数据多样性与高维度：医疗数据指标繁杂，且包含大量非结构化文本（如患者主诉、医生反馈），处理难度大。
- 噪声干扰与预处理：算法对数据分布极度敏感。例如，神经网络常要求输入数据绝对值小于 1，若不进行归一化清洗，模型将无法收敛。
- 隐私数据保护：医疗领域的红线。在进行任何分析前，必须对个人信息进行严格的脱敏处理。
五、 推荐参考书目与工具栈
- 理论基石：《数据分析与数据挖掘（第2版）》（喻梅、于健 主编）—— 严谨的术语字典与统计学支撑。
- 实战指南：《Python数据分析实战：数据采集、分析及可视化》（沈桂兰 主编）—— 网页数据抓取与数据可视化的操作手册。
- 主力工具：Python（主力开发）、SPSS（培养统计思想）。
注: 本系列笔记综合课堂笔记、录音、ppt、个人方向与思考，由Gemini整理。