IEMOCAP数据集预处理实战：用Python和Librosa搞定语音情感识别的数据准备

IEMOCAP数据集预处理实战：用Python和Librosa搞定语音情感识别的数据准备

语音情感识别（SER）作为人机交互领域的重要研究方向，其核心挑战之一是如何从原始音频中提取有效的特征表示。本文将手把手带你完成IEMOCAP数据集的预处理全流程，从数据统计分析到梅尔频谱图生成，为后续ResNet18等模型的训练打下坚实基础。

1. IEMOCAP数据集解析与预处理策略

IEMOCAP（Interactive Emotional Dyadic Motion Capture）是南加州大学收集的经典多模态情感数据集，包含5个会话（session）中10位说话人（5男5女）的即兴表演和剧本朗读。原始数据中标注了9种情感标签，但实际应用中通常采用四分类方案：

# 情感标签映射关系（四分类方案） label_mapping = { 'ang': 0, # 愤怒 'exc': 1, # 兴奋（与happy合并） 'hap': 1, # 快乐 'neu': 2, # 中性 'sad': 3 # 悲伤 }

数据集分布存在明显不均衡问题，各情感类别的样本数量如下表所示：

注意：实际应用中建议对样本较少的类别进行过采样，或采用加权损失函数来解决类别不平衡问题。

2. 说话人独立（SI）的数据划分方案

为保证模型对未见说话人的泛化能力，我们采用说话人独立（Speaker Independent）的5折交叉验证策略。具体实现要点：

1. 会话划分：将5个session划分为5折，每次留出1个session（2位说话人）作为测试集
2. 目录结构：预处理后的数据应按以下结构组织：

   IEMOCAP_processed/ ├── fold1/ │ ├── train/ │ │ ├── ang/ │ │ ├── hap/ │ │ ├── neu/ │ │ └── sad/ │ └── test/ │ ├── ang/ │ ├── hap/ │ ├── neu/ │ └── sad/ ├── fold2/ │ ...

实现代码示例：

from sklearn.model_selection import KFold import shutil sessions = ['Session1', 'Session2', 'Session3', 'Session4', 'Session5'] kf = KFold(n_splits=5) for fold, (train_idx, test_idx) in enumerate(kf.split(sessions), 1): # 创建目录结构 os.makedirs(f'IEMOCAP_processed/fold{fold}/train', exist_ok=True) os.makedirs(f'IEMOCAP_processed/fold{fold}/test', exist_ok=True) # 复制训练集数据 for idx in train_idx: session = sessions[idx] for emotion in ['ang', 'hap', 'neu', 'sad']: src = f'raw_data/{session}F/{emotion}' dst = f'IEMOCAP_processed/fold{fold}/train/{emotion}' shutil.copytree(src, dst, dirs_exist_ok=True) src = f'raw_data/{session}M/{emotion}' shutil.copytree(src, dst, dirs_exist_ok=True) # 复制测试集数据（同上，略）

3. 音频特征提取全流程

3.1 音频分段与预加重

语音信号通常需要分割为固定长度的片段进行处理。我们采用2秒长度、1.6秒重叠的滑动窗口：

import numpy as np def segment_audio(waveform, sr=16000, seg_length=2.0, overlap=1.6): """ 音频分段处理 参数： waveform: 原始音频波形 sr: 采样率（默认16kHz） seg_length: 分段长度（秒） overlap: 重叠长度（秒） 返回： 分段后的音频列表 """ seg_samples = int(seg_length * sr) hop_samples = int((seg_length - overlap) * sr) segments = [] for start in range(0, len(waveform), hop_samples): end = start + seg_samples segment = waveform[start:end] # 不足补零 if len(segment) < seg_samples: segment = np.pad(segment, (0, seg_samples - len(segment))) segments.append(segment) return segments

预加重处理可增强高频分量，补偿语音信号受到声门激励和口鼻辐射的影响：

def pre_emphasis(signal, coefficient=0.97): """ 预加重处理 参数： signal: 输入信号 coefficient: 预加重系数（通常0.9-1.0） 返回： 预加重后的信号 """ return np.append(signal[0], signal[1:] - coefficient * signal[:-1])

3.2 梅尔频谱图生成

梅尔频谱图是语音情感识别中最常用的特征表示之一，其生成流程包括：

1. 短时傅里叶变换（STFT）
2. 幅度平方计算
3. 梅尔滤波器组应用
4. 对数幅度转换

完整实现代码：

import librosa import librosa.display import matplotlib.pyplot as plt def generate_mel_spectrogram(y, sr=16000, n_fft=1024, hop_length=512, n_mels=64): """ 生成梅尔频谱图 参数： y: 音频信号 sr: 采样率 n_fft: FFT窗口大小 hop_length: 帧移 n_mels: 梅尔带数量 返回： 梅尔频谱图（dB刻度） """ # 计算STFT stft = librosa.stft(y, n_fft=n_fft, hop_length=hop_length) # 幅度平方 power = np.abs(stft)**2 # 梅尔滤波器组 mel_basis = librosa.filters.mel(sr, n_fft, n_mels=n_mels) # 应用梅尔滤波器组 mel = np.dot(mel_basis, power) # 转换为dB刻度 mel_db = librosa.power_to_db(mel, ref=np.max) return mel_db def save_spectrogram_image(mel_db, save_path): """保存梅尔频谱图为图像""" plt.figure(figsize=(3, 3)) librosa.display.specshow(mel_db, y_axis='mel', x_axis='time') plt.axis('off') # 关闭坐标轴 plt.savefig(save_path, bbox_inches='tight', pad_inches=0) plt.close()

3.3 批量处理与优化技巧

实际处理大规模数据集时，需要注意以下性能优化点：

• 并行处理：使用multiprocessing或joblib加速
• 内存管理：及时清理不再需要的变量
• 增量保存：每处理完一个文件立即保存，避免内存溢出

优化后的批量处理代码框架：

from tqdm import tqdm from joblib import Parallel, delayed def process_single_file(wav_path, output_dir): try: # 加载音频 y, sr = librosa.load(wav_path, sr=16000) # 分段 segments = segment_audio(y, sr) # 处理每个分段 for i, seg in enumerate(segments): # 预加重 seg = pre_emphasis(seg) # 生成梅尔谱 mel_db = generate_mel_spectrogram(seg, sr) # 保存图像 base_name = os.path.basename(wav_path).replace('.wav', f'_{i}.png') save_path = os.path.join(output_dir, base_name) save_spectrogram_image(mel_db, save_path) except Exception as e: print(f"Error processing {wav_path}: {str(e)}") def batch_process(input_dir, output_dir, n_jobs=4): """批量处理目录下的所有音频文件""" wav_files = [] for root, _, files in os.walk(input_dir): for f in files: if f.endswith('.wav'): wav_files.append(os.path.join(root, f)) # 创建输出目录 os.makedirs(output_dir, exist_ok=True) # 并行处理 Parallel(n_jobs=n_jobs)( delayed(process_single_file)(wav, output_dir) for wav in tqdm(wav_files) )

4. 常见问题与解决方案

在实际预处理过程中，开发者常会遇到��下典型问题：

1. 音频长度不一致

   • 解决方案：统一截断或补零，建议先分析音频长度分布

   # 分析音频长度分布 durations = [librosa.get_duration(filename=f) for f in wav_files] plt.hist(durations, bins=50)

2. 梅尔谱图颜色范围不一致

   • 解决方案：统一设置dB范围

   librosa.display.specshow(mel_db, vmin=-20, vmax=40)

3. 数据泄露风险

   • 关键点：确保同一说话人的所有分段都在同一折（训练或测试集）

4. 存储空间不足

   • 优化策略：
     • 调整图像分辨率（通常64x64足够）
     • 使用PNG压缩

     plt.savefig(..., dpi=100, quality=90)

5. 特征标准化

   • 最佳实践：在训练集上计算均值和方差，然后统一应用到所有数据

   train_mean = np.mean(train_spectrograms) train_std = np.std(train_spectrograms) normalized = (spectrogram - train_mean) / train_std

对于希望进一步优化模型性能的开发者，可以尝试以下进阶技巧：

• 数据增强：添加噪声、时间拉伸、音高变换
• 多特征融合：结合MFCC、chroma等特征
• 注意力机制：对重要时间段赋予更高权重