告别特征工程：用Python+Matplotlib把EEG脑电信号直接变成CNN能吃的时频图

从原始EEG到CNN输入：Python自动化生成时频图全流程解析

深夜的实验室里，显示器上跳动的脑电波形正被转化为一张张彩色图像——这不是科幻场景，而是现代脑机接口研究的日常。传统EEG分析中繁琐的特征工程正在被一种更直观的方法取代：将原始脑电信号直接转换为时频图像，让卷积神经网络"看见"脑电活动。本文将手把手带你实现这套自动化流程，用Python代码架起EEG与深度学习之间的桥梁。

1. 为什么选择时频图作为CNN输入？

脑电信号本质是随时间变化的电压波动，传统机器学习方法需要人工提取频带功率、时域统计等特征。这种特征工程不仅耗时，还可能丢失重要信息。时频分析（Time-Frequency Analysis）通过联合时间-频率域表示，完整保留了信号的动态特性：

• 时域信息：事件相关电位（ERP）的精确时间锁定
• 频域信息：θ/α/β/γ等节律的功率变化
• 相位信息：隐含在频谱图的复数分量中

使用Matplotlib的specgram函数生成时频图，本质上是在执行短时傅里叶变换（STFT）。与原始波形相比，这种可视化呈现具有明显优势：

# 时频图生成核心代码示例 import matplotlib.pyplot as plt import numpy as np # 模拟1秒长度的EEG信号（采样率128Hz） fs = 128 t = np.linspace(0, 1, fs, endpoint=False) eeg_signal = np.sin(2*np.pi*10*t) + 0.5*np.random.randn(fs) plt.specgram(eeg_signal, NFFT=16, Fs=fs, noverlap=10) plt.colorbar() plt.show()

2. 工程化实现：从EEGLab数据到图像数据集

2.1 数据准备与预处理

使用EEGLab的.set格式数据时，推荐采用MNE-Python进行读取和初步处理。与原始文章不同，我们采用更稳健的预处理流程：

import mne def load_eeglab_data(file_path): raw = mne.io.read_raw_eeglab(file_path, preload=True) # 自动检测并修复常见问题 if raw.info['highpass'] == 0: # 未设置高通滤波 raw.filter(1, None) # 1Hz高通滤波 # 重参考至平均参考（可选） raw.set_eeg_reference(ref_channels='average') return raw

关键预处理决策点：

1. 滤波设置：保留1-40Hz频段（去除直流偏移和高频噪声）
2. 坏道处理：自动检测并插值异常通道
3. 分段策略：根据实验范式设置合理的epoch长度

2.2 批量生成时频图的核心函数

原始文章的draw_save函数可优化为更高效的版本，加入以下改进：

• 并行处理：利用multiprocessing加速图像生成
• 智能内存管理：及时清理matplotlib缓存
• 标准化输出：确保所有图像具有相同的色彩范围

from multiprocessing import Pool import os def generate_spectrogram(args): """ 被并行调用的工作函数 """ data, ch_name, label, save_path = args plt.figure(figsize=(4.48, 4.48), dpi=50) plt.specgram(data, NFFT=16, Fs=128, noverlap=10, vmin=-20, vmax=50) # 固定色彩范围 output_path = f"{save_path}/{label}/{ch_name}.png" os.makedirs(os.path.dirname(output_path), exist_ok=True) plt.savefig(output_path, bbox_inches='tight', pad_inches=0) plt.close() # 防止内存泄漏 def batch_convert_to_spectrogram(epochs_data, events, ch_names, save_dir): """ 并行生成所有时频图 """ args_list = [] for epoch_idx, label in enumerate(events): for ch_idx, ch_name in enumerate(ch_names): args = (epochs_data[epoch_idx][ch_idx], ch_name, str(label), save_dir) args_list.append(args) with Pool(processes=os.cpu_count()-1) as pool: pool.map(generate_spectrogram, args_list)

性能对比（生成5000张224x224图像）：

3. 时频图参数调优指南

plt.specgram的关键参数直接影响CNN的学习效果，需要科学设置：

3.1 窗口参数优化

# 不同参数设置的视觉效果对比 params = [ {'NFFT': 16, 'noverlap': 10}, # 高时间分辨率 {'NFFT': 64, 'noverlap': 32}, # 高频率分辨率 {'NFFT': 32, 'noverlap': 16} # 平衡方案 ]

推荐配置原则：

1. NFFT：对应频率分辨率，建议取采样率的1/4到1/2
2. noverlap：通常取NFFT的50-75%
3. Fs：必须与实际采样率一致

3.2 色彩映射标准化

不同epoch间保持一致的色彩映射至关重要：

from matplotlib.colors import Normalize # 全局归一化参数 vmin, vmax = np.percentile(epochs_data, [5, 95]) # 基于全部数据的统计 plt.specgram(epochs_data[0][0], norm=Normalize(vmin=vmin, vmax=vmax), cmap='jet') # 选择适合的colormap

常用色彩映射方案：

• 'jet'：高对比度，但可能夸大细微差异
• 'viridis'：感知均匀，适合科学可视化
• 'plasma'：保留细节的同时突出强弱变化

4. 与深度学习框架的集成

4.1 PyTorch数据加载器实现

创建自定义Dataset类高效加载时频图：

from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class EEGSpectrogramDataset(Dataset): def __init__(self, root_dir, transform=None): self.image_paths = [] self.labels = [] # 遍历目录结构收集样本 for label in os.listdir(root_dir): label_dir = os.path.join(root_dir, label) if os.path.isdir(label_dir): for img_file in os.listdir(label_dir): if img_file.endswith('.png'): self.image_paths.append(os.path.join(label_dir, img_file)) self.labels.append(int(label)) # 默认转换：归一化+随机增强 self.transform = transform or T.Compose([ T.ToTensor(), T.Normalize(mean=[0.485], std=[0.229]) ]) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img = Image.open(self.image_paths[idx]).convert('RGB') label = self.labels[idx] if self.transform: img = self.transform(img) return img, label

4.2 通道融合策略

多通道EEG时频图的三种处理方式：

1. 单通道独立训练：每个通道作为单独输入
2. 多通道堆叠：将各通道时频图作为RGB通道（需重采样）
3. 时空融合：使用3D CNN处理时间序列上的时频图

# 将32通道EEG转换为伪RGB图像 def channels_to_rgb(epoch_data, ch_names): # 选择三个代表性通道（如Fz, Cz, Pz） selected = [ch_names.index(ch) for ch in ['Fz', 'Cz', 'Pz']] rgb_data = epoch_data[selected] # 归一化各通道 rgb_data = (rgb_data - rgb_data.min()) / (rgb_data.max() - rgb_data.min()) return np.moveaxis(rgb_data, 0, -1) # 转为HWC格式

5. 实战技巧与避坑指南

5.1 内存优化技巧

处理大规模EEG数据集时，需特别注意：

• 分块处理：不要一次性加载所有epoch
• 增量保存：每生成100张图像就保存一次
• 缓存清理：定期调用gc.collect()

import gc def safe_spectrogram_generation(data, save_path, batch_size=100): for i in range(0, len(data), batch_size): batch = data[i:i+batch_size] # 处理当前批次... gc.collect() # 手动触发垃圾回收

5.2 质量检查方案

自动验证生成的时频图质量：

1. 文件完整性检查：验证所有文件可正常读取
2. 尺寸一致性检查：确保均为224x224像素
3. 内容有效性检查：检测空白或异常图像

def validate_spectrograms(image_dir): problematic = [] for root, _, files in os.walk(image_dir): for file in files: if file.endswith('.png'): try: img = Image.open(os.path.join(root, file)) if img.size != (224, 224): problematic.append(file) except: problematic.append(file) return problematic

5.3 高级应用方向

超越基础分类任务的创新应用：

• 跨被试迁移学习：使用预训练CNN提取特征
• 注意力可视化：通过Grad-CAM分析重要时频区域
• 生成对抗网络：合成更多训练样本

# Grad-CAM可视化示例（需已训练模型） def apply_gradcam(model, img_tensor): # 获取最后一个卷积层的梯度 grad = model.get_activations_gradient() pooled_grad = torch.mean(grad, dim=[0, 2, 3]) # 计算加权特征图 activations = model.get_activations(img_tensor).detach() for i in range(activations.shape[1]): activations[:, i, :, :] *= pooled_grad[i] heatmap = torch.mean(activations, dim=1).squeeze() # 叠加到原始时频图上 heatmap = np.uint8(255 * heatmap) heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET) superimposed_img = heatmap * 0.4 + original_img return superimposed_img