用Python+MediaPipe+OpenCV做个手势识别小游戏（附完整源码）

用Python+MediaPipe+OpenCV打造手势控制太空射击游戏

在计算机视觉领域，手势识别技术正变得越来越普及。想象一下，你只需挥动手掌就能控制屏幕上的飞船躲避陨石、发射激光——这正是我们将要实现的酷炫项目。本文将带你从零开始，使用Python生态中的MediaPipe和OpenCV库，构建一个完整的手势控制太空射击游戏。

1. 环境准备与基础配置

1.1 安装必要的Python库

首先确保你的Python环境已安装3.7或更高版本。我们将使用以下核心库：

pip install opencv-python==4.6.0.66 pip install mediapipe==0.8.11 pip install numpy==1.21.5

注意：版本号建议保持一致以避免兼容性问题。如果遇到安装问题，可以尝试先卸载旧版本再重新安装。

1.2 初始化摄像头和手势识别

创建一个基础脚本game_base.py来测试手势识别功能：

import cv2 import mediapipe as mp # 初始化MediaPipe手部识别模块 mp_hands = mp.solutions.hands hands = mp_hands.Hands( static_image_mode=False, max_num_hands=1, # 游戏只需识别单手 min_detection_confidence=0.7, min_tracking_confidence=0.5 ) # 启动摄像头 cap = cv2.VideoCapture(0)

这段代码建立了最基本的摄像头捕获和手势识别管道。static_image_mode=False表示我们处理的是视频流而非静态图像。

2. 手势识别核心原理

2.1 理解手部关键点

MediaPipe的手势识别模型会返回21个手部关键点的3D坐标：

手腕(0) 拇指(1-4) 食指(5-8) 中指(9-12) 无名指(13-16) 小指(17-20)

每个关键点包含(x,y,z)坐标，其中：

• x和y是归一化坐标(0.0-1.0)
• z表示深度(值越小离摄像头越近)

2.2 实时手势数据处理

在游戏主循环中处理手势数据：

while cap.isOpened(): success, frame = cap.read() if not success: continue # 转换颜色空间并处理 frame = cv2.cvtColor(cv2.flip(frame, 1), cv2.COLOR_BGR2RGB) results = hands.process(frame) if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: # 获取食指指尖坐标(关键点8) index_tip = hand_landmarks.landmark[8] x_pos = int(index_tip.x * frame.shape[1]) y_pos = int(index_tip.y * frame.shape[0]) # 在指尖位置绘制标记 cv2.circle(frame, (x_pos, y_pos), 15, (0, 255, 0), -1) cv2.imshow('Gesture Control', cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)) if cv2.waitKey(5) & 0xFF == 27: break

这段代码实现了最基本的食指指尖跟踪，为后续游戏控制奠定了基础。

3. 游戏引擎设计与实现

3.1 游戏对象定义

创建game_objects.py定义游戏核心元素：

import pygame import random class Spaceship: def __init__(self, screen_width, screen_height): self.width = 50 self.height = 30 self.x = screen_width // 2 self.y = screen_height - 100 self.speed = 10 self.color = (0, 255, 255) def draw(self, screen): pygame.draw.rect(screen, self.color, (self.x, self.y, self.width, self.height)) class Asteroid: def __init__(self, screen_width): self.radius = random.randint(15, 40) self.x = random.randint(0, screen_width) self.y = -self.radius self.speed = random.randint(2, 7) self.color = (255, 0, 0) def update(self): self.y += self.speed def draw(self, screen): pygame.draw.circle(screen, self.color, (self.x, self.y), self.radius)

3.2 游戏主循环架构

整合手势识别与游戏逻辑的main.py：

import pygame import cv2 import mediapipe as mp from game_objects import Spaceship, Asteroid # 初始化游戏和手势识别 pygame.init() screen_width, screen_height = 800, 600 screen = pygame.display.set_mode((screen_width, screen_height)) clock = pygame.time.Clock() # 游戏对象初始化 spaceship = Spaceship(screen_width, screen_height) asteroids = [] last_asteroid_time = 0 # 手势识别初始化(同前) # ... while True: # 处理手势输入 success, frame = cap.read() if success: frame = cv2.cvtColor(cv2.flip(frame, 1), cv2.COLOR_BGR2RGB) results = hands.process(frame) if results.multi_hand_landmarks: index_tip = results.multi_hand_landmarks[0].landmark[8] spaceship.x = int(index_tip.x * screen_width) - spaceship.width//2 # 游戏逻辑更新 current_time = pygame.time.get_ticks() if current_time - last_asteroid_time > 1000: # 每秒生成一个陨石 asteroids.append(Asteroid(screen_width)) last_asteroid_time = current_time for asteroid in asteroids[:]: asteroid.update() if asteroid.y > screen_height: asteroids.remove(asteroid) # 碰撞检测 # ... # 渲染 screen.fill((0, 0, 0)) spaceship.draw(screen) for asteroid in asteroids: asteroid.draw(screen) pygame.display.flip() clock.tick(60)

4. 高级功能与性能优化

4.1 手势动作识别

除了简单的指尖跟踪，我们可以识别特定手势触发游戏事件：

def is_fist(hand_landmarks): # 计算指尖到手掌根部的距离 wrist = hand_landmarks.landmark[0] fingertips = [hand_landmarks.landmark[i] for i in [4,8,12,16,20]] distances = [((ft.x-wrist.x)**2 + (ft.y-wrist.y)**2)**0.5 for ft in fingertips] return all(d < 0.1 for d in distances) def is_shooting_gesture(hand_landmarks): # 只有食指伸直，其他手指弯曲 conditions = [ hand_landmarks.landmark[8].y < hand_landmarks.landmark[6].y, # 食指伸直 hand_landmarks.landmark[12].y > hand_landmarks.landmark[10].y, # 中指弯曲 hand_landmarks.landmark[16].y > hand_landmarks.landmark[14].y, # 无名指弯曲 hand_landmarks.landmark[20].y > hand_landmarks.landmark[18].y # 小指弯曲 ] return all(conditions)

4.2 性能优化技巧

手势识别游戏对实时性要求很高，以下优化手段很关键：

• 多线程处理：将摄像头采集和游戏渲染放在不同线程
• 分辨率调整：降低处理帧的分辨率
• 智能跳帧：当处理速度跟不上时选择性丢弃帧

from threading import Thread import queue class CameraThread(Thread): def __init__(self): super().__init__() self.queue = queue.Queue(maxsize=1) self.running = True def run(self): cap = cv2.VideoCapture(0) while self.running: success, frame = cap.read() if success: if self.queue.empty(): self.queue.put(frame) def stop(self): self.running = False

4.3 游戏功能扩展

让游戏体验更丰富：

• 能量系统：持续手势动作消耗能量
• 连击奖励：连续击毁陨石获得分数加成
• Boss战：特定手势触发特殊攻击

class PowerSystem: def __init__(self): self.max_power = 100 self.current_power = 100 self.drain_rate = 0.5 # 每秒消耗 def update(self, dt, is_using_power): if is_using_power: self.current_power = max(0, self.current_power - self.drain_rate*dt) else: self.current_power = min(self.max_power, self.current_power + 0.2*dt) # 缓慢恢复

5. 完整项目结构与部署

5.1 项目文件结构

gesture-space-game/ ├── main.py # 游戏入口 ├── game_objects.py # 游戏对象定义 ├── gesture.py # 手势识别封装 ├── assets/ # 图像音效资源 │ ├── spaceship.png │ ├── explosion.wav ├── requirements.txt # 依赖列表 └── README.md # 项目说明

5.2 打包为可执行文件

使用PyInstaller打包游戏：

pip install pyinstaller pyinstaller --onefile --windowed --add-data "assets;assets" main.py

提示：打包前确保所有资源路径使用os.path.join实现跨平台兼容

5.3 跨平台注意事项

• Windows可能需要安装额外的MediaPipe依赖
• macOS需要给予摄像头访问权限
• Linux可能需要配置正确的视频驱动

在游戏初始化时添加兼容性检查：

def check_camera(): cap = cv2.VideoCapture(0) if not cap.isOpened(): print("错误：无法访问摄像头") print("Windows用户请尝试：pip install windows-camera") return False cap.release() return True

这个手势控制太空射击游戏项目展示了如何将计算机视觉技术与游戏开发相结合。从实际开发经验来看，最大的挑战在于手势识别的稳定性和游戏帧率的平衡——通过合理设置MediaPipe的参数和优化游戏循环，我们最终实现了流畅的控制体验。