高通6490之Snapdragon Spaces Unity 手部跟踪详细示例

Snapdragon Spaces Unity 手部跟踪详细示例

Snapdragon Spaces 手部跟踪（Hand Tracking）支持实时跟踪 26 个手关节位置、姿态识别（如捏合 PINCH、抓握 GRAB）和手势交互。核心 API 来自Qualcomm.Snapdragon.Spaces命名空间，包括SpacesHandManager、SpacesHand和SpacesHand.Joint。

QCHT（Qualcomm Compute Hand Tracking）是高级交互层（基于 Unity XR Interaction Toolkit），用于可视化和交互，但底层数据访问类似。推荐导入QCHT Unity Interactions包（从 Snapdragon Spaces Developer Portal 下载 SDK 内含）。

1. 先决条件与场景设置

1. 导入 SDK：

   • 下载最新 Snapdragon Spaces Unity Package（.tgz），通过 Package Manager > Add package from tarball 导入。
   • 导入QCHT Unity Interactions（样本包）和Core Samples。
   • 启用 OpenXR：Project Settings > XR Plug-in Management > Android > OpenXR，选择Hand Tracking功能组。

2. 场景配置：

   • 创建XR Origin（右键 Hierarchy > XR > Room-Scale XR Origin）。
   • 添加XR Hand Tracking Manager到 XR Origin（右键 > QCHT > Hand Tracking Manager），或通过代码实例化。
   • 添加SpacesHandManager（用于低级 API访问）。
   • 为左右手添加SpacesHand组件（或通过 Manager 自动）。
   • Player Settings：Android > ARM64 > IL2CPP > Minimum API 29+。

3. Editor 模拟：

   • Project Settings > XR Plug-in Management启用Hand Tracking Simulation和XR Interaction Toolkit Device Simulator。
   • Play 时，按Tab切换焦点（头/左手/右手）模拟手部。

4. 构建部署：

   • 添加场景到 Build Settings，Build and Run 到支持设备（如 Snapdragon XR2 头显）。

2. 核心 API 概述

• SpacesHandManager：管理双手，事件handsChanged触发更新。
• SpacesHand：单手数据，包括：
  • trackingState：TrackingState（None/Tracking）。
  • Joints[]：26 个关节（JointType: PALM, WRIST, THUMB_METACARPAL, INDEX_PROXIMAL 等）。
  • CurrentGesture.Type：GestureType（PINCH, GRAB 等）。
• QCHT 扩展：XRHandTrackingSubsystem.GetSubsystemInManager()获取子系统状态（Idle/Running/Error）。

3. 详细代码示例

以下是一个完整自包含示例：可视化手部骨骼（使用 LineRenderer 连接关节）、检测捏合手势、抓取 3D 对象（Cube）。附加到 XR Origin 的空 GameObject 上。

创建预制体：

• JointPrefab：小球（Sphere），Scale (0.01,0.01,0.01)，添加 Rigidbody/Collider 用于交互。
• Cube：可抓取对象，添加 Rigidbody。

3.1 主管理脚本：HandTrackingManager.cs

usingSystem.Collections.Generic;usingUnityEngine;usingQualcomm.Snapdragon.Spaces;// 导入 Spaces APIusingUnityEngine.XR.ARSubsystems;// 用于 TrackingStatepublicclassHandTrackingManager:MonoBehaviour{[Header("Prefabs")]publicGameObjectjointPrefab;// 关节可视化预制体publicMaterialleftHandMaterial;// 左手材质（蓝色）publicMaterialrightHandMaterial;// 右手材质（红色）[Header("Interaction")]publicGameObjectgrabTarget;// 要抓取的 CubeprivateSpacesHandManagerhandManager;privateDictionary<SpacesHand,List<GameObject>>jointVisualizers=new();// 关节可视化对象privateLineRendererboneRenderer;// 骨骼线渲染器privateboolisGrabbing=false;voidStart()