别再为CWRU轴承数据发愁了！一个Python函数搞定数据读取与划分（附完整代码）

用Python高效处理CWRU轴承数据的5个实战技巧

当第一次接触凯斯西储大学轴承数据集时，许多研究者都会面临一个共同的困境——如何快速从原始振动信号中提取有价值的特征并构建可用的数据集。这个看似简单的任务往往成为项目推进的第一个障碍。本文将分享一套经过实战检验的Python解决方案，不仅能解决基础的数据读取问题，还能帮助您避开常见陷阱，直接进入模型开发阶段。

1. 数据加载函数的设计哲学

优秀的工具函数应该像瑞士军刀一样兼具功能性和灵活性。我们设计的load_data函数核心在于参数化思维——通过六个关键参数控制数据集的构成，适应不同研究阶段的需求。

def load_data( num=90, # 每类样本数量 length=1280, # 样本长度(点数) hp=[0,1,2], # 负载工况(0-3对应不同马力) fault_diameter=[0.007,0.028], # 故障直径(inch) split_rate=[0.7,0.2,0.1], # 训练/验证/测试集比例 normalize=True # 是否进行归一化 ): """智能加载CWRU轴承数据的多功能函数"""

每个参数都经过精心设计：

• num：控制样本均衡性，避免类别不平衡
• length：影响时序特征提取，与后续模型输入维度直接相关
• hp：多工况选择，增强模型泛化能力
• fault_diameter：故障严重程度组合，决定分类任务难度

提示：初次实验建议保持默认参数，待流程跑通后再逐步调整复杂度

2. 工程化实现细节解析

原始.mat文件的处理需要特别注意内存管理和数据一致性。我们的实现采用分块处理策略，避免一次性加载全部数据导致内存溢出。

关键处理步骤：

1. 文件读取：使用scipy.io的优化读取方法
2. 数据切片：确保每个样本长度一致
3. 归一化：按样本独立归一化，避免数据泄露
4. 标签生成：自动构建one-hot编码

def deal_data(raw_data, length, label): """将原始信号转换为标准样本""" samples = [] for i in range(0, len(raw_data)-length, length//2): # 50%重叠采样 sample = raw_data[i:i+length] if normalize: sample = (sample - np.min(sample)) / (np.max(sample) - np.min(sample)) samples.append(np.append(sample, label)) return np.array(samples)

数据划分采用分层抽样策略，确保每个子集都保持原始数据分布：

3. 参数调优实战指南

函数参数的组合直接影响后续模型性能。根据我们的实验，推荐以下配置组合：

场景一：快速验证模型结构

# 最小化数据量，快速迭代 small_data = load_data(num=30, length=512, hp=[0], fault_diameter=[0.007])

场景二：全面性能评估

# 最大化数据多样性 full_data = load_data(num=200, length=2048, hp=[0,1,2,3], fault_diameter=[0.007,0.014,0.021,0.028])

常见问题解决方案：

• 内存不足：减小num或length
• 类别不平衡：检查每类实际样本数
• 过拟合：增加hp和fault_diameter的多样性

注意：样本长度length应与后续模型的输入维度匹配，修改后需同步调整模型结构

4. 与深度学习框架的无缝集成

设计返回格式时，我们特别考虑了与主流框架的兼容性。函数返回的六个数组可以直接输入到TensorFlow或PyTorch中：

# TensorFlow示例 train_dataset = tf.data.Dataset.from_tensor_slices( (train_data, train_label)).batch(32) # PyTorch示例 train_tensor = torch.utils.data.TensorDataset( torch.Tensor(train_data), torch.Tensor(train_label))

进阶技巧：

• 使用tf.data构建数据管道提升加载效率
• 添加实时数据增强层
• 实现自定义采样器处理类别不平衡

5. 项目实战中的经验分享

在实际故障诊断项目中，我们发现几个容易忽视但至关重要的细节：

1. 采样频率一致性：确保所有工况数据使用相同的采样率(本例为12kHz)
2. 故障位置影响：驱动端(DE)与风扇端(FE)信号特征差异显著
3. 环境噪声处理：不同采集日期的数据可能存在基线漂移

一个典型的项目集成示例：

def build_pipeline(): # 数据加载 train_data, train_label, _, _, test_data, test_label = load_data() # 模型构建 model = Sequential([ Input(shape=(train_data.shape[1],)), Dense(64, activation='relu'), Dense(train_label.shape[1], activation='softmax') ]) # 训练配置 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 训练与评估 history = model.fit(train_data, train_label, epochs=10) results = model.evaluate(test_data, test_label) return model, results

在处理CWRU数据集三年后，最深刻的体会是：高质量的数据预处理比复杂的模型结构更能提升故障诊断性能。特别是在工业场景中，模型的稳定性和可解释性往往比单纯的准确率更重要。