中文手语识别系统设计与实现

中文手语识别系统设计与实现

摘要

手语是听障人士与外界沟通的重要方式，但手语的普及率低、学习成本高，导致健听人与听障人士之间存在沟通障碍。本文设计并实现了一个基于计算机视觉的中文手语识别系统，利用普通摄像头实时采集手语动作，通过 MediaPipe 提取手部关键点，结合机器学习分类器识别手语词汇，最终将识别的词汇序列翻译为中文句子输出。系统采用模块化设计，包含数据采集、特征提取、模型训练、实时识别和翻译输出等模块，并在公开数据集上进行了验证。实验结果表明，在 20 个常用手语词汇上，系统识别准确率达到 92.3%，实时性满足实际应用需求。

关键词：手语识别；计算机视觉；MediaPipe；机器学习；中文手语

1. 引言

1.1 背景与意义

据统计，我国有超过 2000 万听障人士，他们主要依靠手语进行交流。然而，绝大多数健听人对手语并不了解，导致沟通障碍。随着计算机视觉和人工智能技术的发展，手语识别系统成为解决这一问题的有效手段。目前手语识别研究主要集中在美国手语（ASL）上，针对中文手语的研究相对较少，且大多依赖昂贵设备（如数据手套）或复杂模型。因此，开发一个低成本、高实时性的中文手语识别系统具有重要的社会意义和应用价值。

1.2 国内外研究现状

手语识别方法主要分为基于传感器和基于视觉两类。基于传感器的方法使用数据手套、惯性传感器等，精度高但成本高、不便携。基于视觉的方法利用摄像头采集图像，通过提取手部形状