FUSE-Bike平台：自行车载多模态动作识别技术解析
1. FUSE-Bike平台与BikeActions数据集概述
在自动驾驶和移动机器人领域，准确识别弱势道路使用者（VRU）的行为意图是确保安全导航的关键挑战。传统研究主要关注从车辆视角观察行人过马路行为，而忽视了自行车道、人行道等密集共享空间中的复杂交互。这种视角限制导致现有系统难以理解骑行者手势、行人犹豫姿态等微妙但关键的行为信号。
FUSE-Bike平台应运而生，这是首个完全开源的自行车载感知系统，通过精心设计的硬件配置实现了汽车级的数据采集标准。该平台搭载了两台LiDAR（Ouster OS2-128长距雷达和OS0-128近场雷达）、Basler工业相机和Septentrio RTK-GNSS模块，所有传感器通过硬件级PTP时间同步，确保多模态数据的时间对齐精度达到微秒级。机械结构采用CNC加工和3D打印支架，保证传感器在骑行震动环境下的稳定性。
基于该平台采集的数据，研究团队构建了BikeActions数据集——目前首个从骑行者视角标注的多模态动作识别基准。数据集包含46,180帧同步传感器数据，从中精挑细选出852个高质量动作样本，覆盖5个关键行为类别：
- 行走（Walking）
- 站立（Standing）
- 骑行（Cycling）
- 左转手势（Cycling: Left）
- 右转手势（Cycling: Right）
关键设计考量：选择这些动作类别的依据是它们对自动驾驶决策具有直接意义。例如骑行者手势是转向意图的最明确信号，而行人站立/行走状态的区分有助于预测其路径冲突风险。
2. 技术实现细节解析
2.1 传感器系统架构设计
FUSE-Bike的硬件架构经过多次迭代优化，最终方案如图1所示。其核心设计哲学体现在三个层面：
感知能力平衡：OS2-128 LiDAR（200m@10%反射率）负责远距离物体检测，而OS0-128（35m@10%反射率）的宽垂直视场（±45°）专为近场交互优化。这种组合确保既能捕捉远处交通状况，又能清晰记录身旁行人的细微动作。
时间同步方案：采用Septentrio GNSS作为PTP主时钟，通过2.5G以太网交换机向各传感器分发同步信号。实测表明，该方案将各传感器间的时间偏差控制在50μs以内，远优于软件同步方案（通常>1ms）。
机械稳定性设计：传感器支架采用有限元分析优化，在保持轻量化的同时，一阶共振频率达35Hz，有效抑制骑行震动导致的图像模糊。后置电子舱配备主动散热系统，确保Jetson AGX Orin在持续负载下维持稳定性能。
图1：FUSE-Bike硬件系统架构，展示传感器布局和数据处理链路
2.2 标定与数据融合
多传感器标定是数据质量的基础保障。团队开发了分层标定流程：
相机内参标定：使用6×9棋盘格，通过Zhang氏方法求解相机矩阵K和畸变系数。特别针对单目相机，采用光束平差法优化焦距(fx,fy)和主点(cx,cy)，重投影误差控制在0.3像素以内。
LiDAR-相机外参标定：
- 粗标定：在场景中布置LiDARTag标记，通过PnP求解初始变换矩阵T_cam←os2
- 精标定：基于自然特征点云-图像配准，使用ICP算法优化旋转平移参数
- 验证方法：将LiDAR点云投影到图像，检查人行道边缘、建筑物轮廓等特征的对齐度
双LiDAR标定：利用场景中的垂直结构（如路灯杆、建筑墙角），通过平面匹配算法计算T_os0←os2。关键技巧是选择30-50米距离的稳定特征，避免近场动态物体干扰。
标定结果通过ROS2 TF2树管理，形成完整的坐标变换链。任意点的坐标转换可表示为：
def transform_point(p_os0, T_cam_os2, T_os0_os2): p_os2 = np.linalg.inv(T_os0_os2) @ p_os0 # OS0→OS2 p_cam = T_cam_os2 @ p_os2 # OS2→Camera return p_cam2.3 数据采集与标注流程
数据采集在慕尼黑市区进行，涵盖多种典型场景：
- 交叉路口（信号灯控制/无信号灯）
- 自行车专用道
- 人车混行道路
- 人行横道周边
采集过程采用两种策略：
- 自然骑行：操作者以正常速度（15-25km/h）骑行，记录真实交通流
- 目标跟随：选择性跟踪特定VRU，延长关键动作的捕获时长
原始数据经过预处理流水线：
graph LR A[原始数据] --> B[帧分割] B --> C[人体检测(YOLOv8)] C --> D[2D姿态估计(HRNet)] D --> E[3D姿态重建(LiDAR辅助)] E --> F[自动动作分段] F --> G[人工校验]标注工具特别设计了以下功能提升效率：
- 自动建议动作起止帧（基于姿态变化率）
- 多视图同步显示（RGB+LiDAR深度）
- 骨架叠加可视化
- 快捷键快速分类
3. 动作识别模型基准测试
3.1 模型选型与改进
基于骨架的动作识别近年主要沿两个方向发展：GCN-based和Transformer-based方法。我们选择5种代表性模型进行基准测试：
| 模型类型 | 代表模型 | 核心创新点 | 适应改进 |
|---|---|---|---|
| GCN-based | HD-GCN | 分层分解的时空图卷积 | 调整邻接矩阵包含自行车结构 |
| GCN-based | CTR-GCN | 通道拓扑优化机制 | 增加手势专用边连接 |
| GCN-based | Neural Koopman | 基于动力学的特征嵌入 | 优化循环状态空间维度 |
| Transformer | Hyperformer | 超图注意力机制 | 调整时空token划分策略 |
| Transformer | Skateformer | 滑窗时空建模 | 优化窗口大小与骑行动作匹配 |
针对骑行场景的特殊性，我们做了三项关键改进：
- 骨骼模态增强：除标准关节点外，增加自行车骨架节点（车把、车轮中心等）
- 左右镜像增强：对左右转手势样本进行水平翻转，有效扩充小样本类别
- 时序对齐：将输入序列统一采样或填充至64帧（约6.4秒），覆盖典型动作周期
3.2 训练细节与超参数
实验环境配置：
- GPU: NVIDIA RTX 4090 (24GB)
- 框架: PyTorch 2.0 + CUDA 11.7
- 优化器: AdamW (lr=0.001, weight_decay=0.05)
- 批次大小: 32 (joint), 64 (bone)
- 训练周期: 300 epochs
数据处理策略：
- 输入维度: (C, T, V) = (3, 64, 20)
- C: (x,y,置信度)
- T: 时间帧
- V: 关节点数
- 归一化: 各关节坐标相对于骨盆中心归一化
- 增强手段:
- 随机时间插值(±10%)
- 空间抖动(σ=0.1m)
- 随机帧丢弃(p=0.1)
3.3 基准测试结果分析
在官方划分的测试集上，各模型表现如表1所示：
表1：模型在BikeActions测试集上的准确率(%)
| 模型 | 关节点准确率 | 骨骼准确率 | 参数量(M) | FLOPs(G) |
|---|---|---|---|---|
| HD-GCN | 66.92 | 90.77 | 3.2 | 1.8 |
| CTR-GCN | 93.08 | 89.23 | 2.7 | 2.1 |
| Neural Koopman | 92.31 | 92.31 | 4.5 | 3.7 |
| Hyperformer | 96.15 | 94.62 | 5.1 | 4.2 |
| Skateformer | 95.38 | 93.85 | 4.8 | 3.9 |
关键发现：
- 模态差异：关节点模态在精细动作（如手势）上表现更优，而骨骼模态对整体运动模式（行走/骑行）分类更稳健
- 混淆分析：主要错误发生在"左转"与"右转"之间（约8%），以及"站立"与"行走"起始帧的误判
- 效率权衡：Hyperformer虽然精度最高，但Koopman模型在精度-效率平衡上表现最佳
图2展示了Hyperformer对典型样本的识别结果，可见模型能有效捕捉手势特征（如手臂伸展角度）和骑行姿态（如踏板位置）。
图2：模型识别结果可视化，绿色框表示正确分类，红色框显示少数错误案例
4. 实际应用与挑战
4.1 自动驾驶系统集成方案
将BikeActions训练的模型部署到实际自动驾驶系统，需要考虑以下工程问题：
实时性优化：
# 典型加速技巧示例 model = Hyperformer().eval() model = torch.jit.script(model) # 启用JIT编译 model = model.to('cuda') # 使用TensorRT进一步优化 trt_model = torch2trt( model, [torch.randn(1,3,64,20).cuda()], fp16_mode=True, max_workspace_size=1<<30 )多模态融合策略：
- 早期融合：将LiDAR点云特征与骨架特征在输入层拼接
- 晚期融合：分别处理各模态后，通过注意力机制加权融合
- 实验表明，晚期融合在计算资源充足时效果更优（+2.1% mAP）
4.2 典型挑战与解决方案
长尾分布问题：
- 数据层面：采用SMOTE过采样+CutMix增强小类别
- 损失函数：使用Focal Loss平衡类别权重
- 知识蒸馏：用大数据集预训练教师模型指导小样本学习
遮挡处理：
- 构建遮挡鲁棒性训练集：
- 人工添加随机遮挡（模拟树木、车辆遮挡）
- 使用3D高斯泼溅生成虚拟遮挡物
- 模型层面：
- 增加遮挡感知注意力层
- 引入时序预测模块（如TCN）补偿缺失帧
跨场景泛化：
- 域适应技巧：
- 天气对抗训练（雨雪雾增强）
- 姿态估计器与识别器联合微调
- 测试时增强(TTA)：
- 多尺度空间变换
- 时序片段投票
5. 延伸应用与未来方向
5.1 潜在应用场景
自行车ADAS系统：
- 手势识别预警：检测后方车辆是否注意到骑行者转向意图
- 碰撞预警：通过行人动作预测冲突风险
- 实测数据显示，系统能在300ms内完成检测→决策→预警全流程
服务机器人导航：
- 在共享空间（如商场、机场）预判行人意图
- 结合BikeActions与室内定位数据，可将避碰成功率提升37%
交通行为分析：
- 统计手势使用频率（德国实测仅23%骑行者规范使用手势）
- 识别"危险骑行模式"（如S形骑行）
5.2 技术演进路线
短期（1-2年）：
- 扩展动作类别至15+（包含奔跑、跌倒等紧急状态）
- 开发轻量级模型（<1G FLOPs）适配边缘设备
- 增加多语言意图识别（如结合语音信号）
中期（3-5年）：
- 构建动态交互仿真环境
- 发展预测-决策端到端模型
- 与V2X通信系统深度集成
长期愿景：
- 建立VRU与自动驾驶系统的"共同语言"
- 通过大规模行为数据推动交通法规优化
实践建议：研究者可优先复现Hyperformer+骨骼模态方案，其在多数场景下表现稳健。工业应用则推荐Neural Koopman，因其在嵌入式设备上的优异推理效率（实测Jetson AGX Orin上可达45FPS）。