当前位置：首页 > news >正文

NTU-RGB+D数据集预处理实战：从原始骨架数据到CTR-GCN模型输入

news 2026/6/4 21:48:32

NTU-RGB+D数据集预处理实战：从原始骨架数据到CTR-GCN模型输入

在动作识别领域，NTU-RGB+D数据集因其大规模和高质量的骨架数据而成为行业标杆。本文将深入探讨如何将原始骨架数据转化为适用于CTR-GCN等图卷积网络的标准输入格式，涵盖数据清洗、帧对齐、坐标归一化等关键步骤，并分享实际处理中的经验技巧。

1. 数据预处理基础架构

NTU-RGB+D数据集包含56,880个动作样本，每个样本提供25个关节点的3D坐标信息。原始数据以.skeleton文件格式存储，需要经过三个核心处理阶段：

原始数据提取（get_raw_skes_data.py）
数据去噪与清洗（get_raw_denoised_data.py）
序列转换与标准化（seq_transformation.py）

处理流程中的关键数据结构转换如下表所示：

处理阶段	输入格式	输出格式	核心操作
原始提取	.skeleton二进制文件	raw_skes_data.pkl	帧有效性校验、身体ID追踪
数据去噪	原始关节点数据	raw_denoised_joints.pkl	运动幅度筛选、异常帧去除
序列转换	去噪后数据	NTU60_CS/CV.npz	坐标归一化、帧长度对齐

2. 原始数据解析与清洗

2.1 骨架数据提取

原始.skeleton文件采用特定格式存储：

首行：总帧数
每帧数据以body数量声明开始
每个body包含25个关节点，每个关节点12个属性字段

关键解析代码如下：

def get_raw_bodies_data(skes_path, ske_name): with open(ske_file, 'r') as fr: str_data = fr.readlines() num_frames = int(str_data[0].strip('\r\n')) bodies_data = dict() for f in range(num_frames): num_bodies = int(str_data[current_line].strip('\r\n')) current_line += 1 for b in range(num_bodies): bodyID = str_data[current_line].strip('\r\n').split()[0] joints[b, j, :] = np.array(temp_str[:3], dtype=np.float32) # 提取XYZ坐标 colors[b, j, :] = np.array(temp_str[5:7], dtype=np.float32) # 提取颜色坐标

注意：实际处理时需要特别关注帧索引的连续性，缺失帧会导致后续时序建模出现问题。

2.2 数据去噪策略

NTU-RGB+D数据常见噪声类型及处理方法：

短序列过滤（长度≤11帧）

noise_len_thres = 11 if length <= noise_len_thres: del bodies_data[bodyID]

异常姿态检测
- 基于高宽比过滤：(x.max()-x.min()) <= 0.8*(y.max()-y.min())
- 运动幅度阈值：noise_mot_thres_lo = 0.089925
多主体处理
- 按运动幅度排序选择主要主体
- 双人交互动作需保持两个主体的时序对齐

3. 关键坐标变换技术

3.1 脊柱中心归一化

将关节点坐标转换为以脊柱关节（joint-2）为原点的相对坐标：

def seq_translation(skes_joints): origin = np.copy(ske_joints[i, 3:6]) # 脊柱关节坐标 ske_joints[f] -= np.tile(origin, 25) # 所有关节点减去脊柱坐标

这种归一化方式能有效消除不同拍摄距离和人体尺寸的影响。

3.2 帧长度标准化

NTU-RGB+D的帧长度差异较大（从几十到数百帧不等），需要统一到固定长度：

统计最大帧数（通常设为300帧）
短序列补零，长序列截断
单主体数据需补全第二主体为零矩阵

max_num_frames = 300 aligned_skes_joints = np.zeros((num_skes, max_num_frames, 150)) aligned_skes_joints[idx, :num_frames] = ske_joints

4. 数据集划分策略

NTU-RGB+D提供两种标准划分方式：

4.1 跨主体划分（Cross-Subject, CS）

train_ids = [1,2,4,5,8,9,13,14,15,16,17,18,19,25,27,28,31,34,35,38] test_ids = [3,6,7,10,11,12,20,21,22,23,24,26,29,30,32,33,36,37,39,40]

4.2 跨视角划分（Cross-View, CV）

train_ids = [2, 3] # 摄像机2和3 test_ids = 1 # 摄像机1

最终生成的标准数据集包含以下结构：

train_x: 训练集骨架序列
train_y: 训练集one-hot标签（60类）
test_x: 测试集骨架序列
test_y: 测试集one-hot标签

5. CTR-GCN输入格式适配

CTR-GCN作为ICCV2021提出的先进图卷积网络，对输入数据有特定要求：

时空图构建
- 空间图：25个关节点自然连接
- 时间图：连续帧间相同关节点连接
数据维度
- 输入张量形状：(N, C, T, V, M)
  - N: batch大小
  - C: 通道数（3 for XYZ）
  - T: 时间维度（300帧）
  - V: 关节点数（25）
  - M: 主体数（2）
数据增强建议
- 随机时间裁剪
- 关节点抖动噪声
- 骨骼长度缩放