用TSM训练自定义动作识别模型：从UCF101格式准备到避坑调参全流程（PyTorch 1.10）
基于TSM的视频动作识别实战：从数据准备到模型调优全流程解析
视频动作识别作为计算机视觉领域的重要研究方向，在智能监控、人机交互、运动分析等场景中具有广泛应用价值。Temporal Shift Module（TSM）通过创新的时序特征建模方式，在保持2D CNN计算效率的同时实现了接近3D CNN的性能表现。本文将系统性地介绍如何利用PyTorch框架，从原始视频数据开始构建完整的TSM训练流程。
1. 环境配置与数据准备
1.1 基础环境搭建
TSM模型训练需要以下核心组件支持：
# 基础环境安装命令 conda create -n tsm python=3.8 conda install pytorch==1.10.0 torchvision==0.11.0 cudatoolkit=11.3 -c pytorch pip install opencv-python ffmpeg-python硬件配置建议：
- GPU：至少8GB显存（如RTX 2070及以上）
- 内存：16GB以上
- 存储：SSD硬盘（视频数据处理对I/O性能要求较高）
1.2 数据集格式规范
TSM默认采用UCF101数据集格式，目录结构示例如下：
EventDataset/ ├── videos/ │ ├── Action1/ │ │ ├── v_Action1_g01_c01.avi │ │ └── v_Action1_g01_c02.avi │ └── Action2/ │ ├── v_Action2_g01_c01.avi │ └── v_Action2_g01_c02.avi └── splits/ ├── trainlist01.txt └── testlist01.txt关键命名规则：
gXX：表示视频组别编号cXX：表示同一组别下的片段编号- 动作类别通过子目录名称体现
2. 数据预处理全流程
2.1 视频帧提取技术细节
使用TSM源码中的vid2img_ucf101.py脚本时，需特别注意以下参数配置：
# 关键参数调整示例 parser.add_argument('--dst_path', type=str, default='./frames') parser.add_argument('--new_width', type=int, default=340) # 调整输入分辨率 parser.add_argument('--new_height', type=int, default=256) parser.add_argument('--frame_rate', type=int, default=15) # 控制帧采样率常见问题解决方案：
- FFmpeg路径问题：在Python脚本中显式指定FFmpeg路径
import os os.environ['PATH'] += ':/usr/local/ffmpeg/bin' - 内存溢出：分批次处理大视频文件
- 帧对齐问题：保持所有视频的宽高比一致
2.2 标签生成与数据集划分
标签生成流程中的关键文件说明：
| 文件类型 | 格式示例 | 作用 |
|---|---|---|
| classInd.txt | 1 Action1 | 类别索引映射 |
| trainlistXX.txt | Action1/v_Action1_g01_c01 1 | 训练集清单 |
| testlistXX.txt | Action2/v_Action2_g01_c01 | 测试集清单 |
数据集划分建议比例：
- 训练集：70-80%
- 验证集：10-15%
- 测试集：10-15%
注意：划分时应确保每个类别的样本分布均衡，避免出现长尾分布问题
3. 模型训练与调参策略
3.1 配置文件关键参数解析
修改dataset_config.py时需要特别注意以下字段：
# 典型配置示例 'event5': { 'num_class': 5, # 动作类别数 'img_path': 'frames", # 帧存储路径 'train_list': "trainlist01.txt", 'val_list': "testlist01.txt", 'modality': "RGB", 'image_tmpl': "img_{:05d}.jpg" # 必须与帧命名格式一致 }3.2 训练启动与参数优化
基础训练命令：
python main.py event5 RGB \ --arch resnet50 \ --num_segments 8 \ --lr 0.01 \ --lr_steps 20 40 \ --epochs 50 \ --batch-size 32 \ --dropout 0.5 \ --consensus_type avg \ --eval-freq 1 \ --shift \ --shift_div 8参数调优指南：
batch-size选择：
- 8GB显存：建议16-32
- 16GB显存：建议32-64
学习率策略：
# 阶梯式下降配置示例 --lr 0.01 --lr_steps 20 40 --epochs 50 # 余弦退火配置示例 --lr 0.01 --lr_type cos --epochs 50时序建模参数：
num_segments：视频分段数（通常8-16）shift_div：时序移位比例（通常8-16）
4. 实战问题排查与性能优化
4.1 常见错误解决方案
| 错误类型 | 可能原因 | 解决方案 |
|---|---|---|
| CUDA内存不足 | batch-size过大 | 减小batch-size或使用梯度累积 |
| 标签不匹配 | 文件路径错误 | 检查标签文件中的路径前缀 |
| 精度波动大 | 学习率过高 | 尝试降低学习率或使用warmup |
| 过拟合 | 数据量不足 | 增加数据增强或使用正则化 |
4.2 高级优化技巧
数据增强策略：
# 在transforms.py中添加自定义增强 transforms.Compose([ RandomResizedCrop(224), ColorJitter(brightness=0.3, contrast=0.3), RandomHorizontalFlip(), ])混合精度训练：
# 启动命令添加--fp16参数 python main.py ... --fp16模型微调技巧：
- 冻结底层卷积层（前3-5个block）
- 对全连接层使用更大学习率
- 使用标签平滑（label smoothing）
在实际项目中，我们发现将num_segments设置为16，配合余弦退火学习率调度，可以在UCF101格式的数据集上获得最佳性能平衡。对于长视频处理，建议先进行关键帧提取再输入模型，可以显著提升处理效率。