残疾人代步车辅助避障，小型车视觉避障，室内外通行，输出安全行驶。
♿ 残疾人代步车智能辅助避障系统
📖 项目概述
这是一个基于计算机视觉和深度学习的智能代步车辅助避障系统，专为行动不便人群设计。系统通过多传感器融合、实时障碍物检测、智能路径规划，为代步车提供安全、平稳的自主避障能力，实现室内外无缝通行。
🌍 实际应用场景
场景描述
在现代化城市环境中，残疾人士使用电动代步车出行时面临诸多挑战：
- 室内商场、医院、办公楼等复杂环境
- 室外人行道、公园、广场等开放空间
- 动态障碍物（行人、宠物、其他车辆）
- 静态障碍物（路障、台阶、积水、井盖）
- 狭窄通道和急转弯
痛点分析
痛点 影响 风险等级
视野盲区 无法察觉后方和低矮障碍物 🔴 高风险
反应迟缓 紧急情况应对不及时 🔴 高风险
路径规划缺失 陷入死角或碰撞障碍物 🟡 中风险
室内外切换困难 不同环境的适应性差 🟡 中风险
操控复杂度高 增加用户认知负担 🟢 低风险
目标用户画像
- 主要用户：下肢残疾、行动不便的成年人
- 使用环境：城市通勤、社区出行、室内外场所
- 核心需求：安全、简单、可靠、舒适
🧠 核心逻辑讲解
┌─────────────────────────────────────────────────────────────────────────────┐
│ 系统整体架构 │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ 传感器层 │ │
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │
│ │ │ 前视 │ │ 后视 │ │ 侧视 │ │ 超声波 │ │ IMU │ │ │
│ │ │ 摄像头 │ │ 摄像头 │ │ 摄像头 │ │ 传感器 │ │ 加速度 │ │ │
│ │ └────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ │ │
│ └───────┼──────────┼──────────┼──────────┼──────────┼───────────────┘ │
│ └──────────┴──────────┴──────────┴──────────┴───────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ 感知层 │ │
│ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │
│ │ │ 目标检测 │ │ 深度估计 │ │ 语义分割 │ │ 多传感器 │ │ │
│ │ │ YOLOv8 │ │ 单目深度 │ │ DeepLabV3+ │ │ 融合 │ │ │
│ │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │
│ └─────────┼──────────────┼──────────────┼──────────────┼──────────────┘ │
│ └──────────────┴──────────────┴──────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ 决策层 │ │
│ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │
│ │ │ 风险评估 │ │ 路径规划 │ │ 行为决策 │ │ 运动控制 │ │ │
│ │ │ 动态权重 │ │ A* + DWA │ │ 有限状态机 │ │ PID控制 │ │ │
│ │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │
│ └─────────┼──────────────┼──────────────┼──────────────┼──────────────┘ │
│ └──────────────┴──────────────┴──────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────────────────────────┐ │
│ │ 执行层 │ │
│ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │
│ │ │ 电机控制 │ │ 蜂鸣器 │ │ LED指示 │ │ 语音提示 │ │ │
│ │ │ PWM输出 │ │ 声光报警 │ │ 状态显示 │ │ TTS播报 │ │ │
│ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │
│ └─────────────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
障碍物分类与响应策略：
┌─────────────────────────────────────────────────────────────────────────────┐
│ │
│ 障碍物类型 │ 检测方法 │ 响应策略 │
│ ───────────────────────────────────────────────────────────────────────── │
│ 静态障碍物 │ 深度估计 + 语义分割 │ 路径绕行 │
│ ───────────────────────────────────────────────────────────────────────── │
│ • 墙壁/柱子 │ 深度突变检测 │ 侧向避让 │
│ • 台阶/坡道 │ 边缘特征提取 │ 减速+坡度适应 │
│ • 积水/坑洼 │ 纹理分析 │ 绕行或减速 │
│ • 家具/杂物 │ 目标检测 │ 局部路径规划 │
│ │
│ 动态障碍物 │ 多帧跟踪 + 预测 │ 时间-空间避让 │
│ ───────────────────────────────────────────────────────────────────────── │
│ • 行人 │ DeepSORT跟踪 │ 提前减速+绕行 │
│ • 宠物 │ 行为分析 │ 温和避让 │
│ • 其他车辆 │ 运动模式识别 │ 保持安全距离 │
│ • 移动物体 │ 光流法 │ 动态路径调整 │
│ │
│ 特殊环境 │ 场景分类 │ 模式切换 │
│ ───────────────────────────────────────────────────────────────────────── │
│ • 室内走廊 │ 纹理+几何特征 │ 窄通道模式 │
│ • 室外人行道 │ 路面分析 │ 标准模式 │
│ • 斜坡/楼梯 │ 倾角传感器 │ 攀爬/警示模式 │
│ • 拥挤区域 │ 密度估计 │ 跟随模式 │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
安全距离计算模型：
┌─────────────────────────────────────────────────────────────────────────────┐
│ │
│ 安全距离 = 反应距离 + 制动距离 + 安全裕量 │
│ │
│ 反应距离 = 车速 × 反应时间 │
│ = v × (感知延迟 + 决策延迟 + 执行延迟) │
│ ≈ v × 0.5秒 (典型值) │
│ │
│ 制动距离 = v² / (2 × 减速度) │
│ ≈ v² / (2 × 3.0 m/s²) (保守估计) │
│ │
│ 安全裕量 = 障碍物尺寸 + 横向安全距离 + 纵向缓冲 │
│ ≈ 0.5m + 0.3m + 0.2m = 1.0m │
│ │
│ 示例计算 (v = 1.5 m/s ≈ 5.4 km/h): │
│ • 反应距离 = 1.5 × 0.5 = 0.75m │
│ • 制动距离 = (1.5)² / (2 × 3.0) = 0.375m │
│ • 安全裕量 = 1.0m │
│ • 总安全距离 = 0.75 + 0.375 + 1.0 = 2.125m │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
关键技术点
1. 多传感器融合：视觉+超声波+IMU数据融合，提高可靠性
2. 实时目标检测：YOLOv8优化，满足实时性要求
3. 单目深度估计：基于深度学习的场景深度预测
4. 动态路径规划：A*全局规划+DWA局部规划
5. 自适应控制：PID控制器根据环境动态调整参数
6. 多级预警：声光+语音的多模态预警机制
📁 项目结构
mobility_scooter_assist/
│
├── main.py # 主程序入口
├── config.py # 配置文件
├── requirements.txt # 依赖包
├── README.md # 项目说明
│
├── modules/ # 功能模块
│ ├── __init__.py
│ ├── sensor_manager.py # 传感器管理
│ ├── obstacle_detector.py # 障碍物检测
│ ├── depth_estimator.py # 深度估计
│ ├── path_planner.py # 路径规划
│ ├── motion_controller.py # 运动控制
│ ├── safety_monitor.py # 安全监控
│ ├── user_interface.py # 用户界面
│ └── communication.py # 通信模块
│
├── sensors/ # 传感器接口
│ ├── __init__.py
│ ├── camera.py # 摄像头驱动
│ ├── ultrasonic.py # 超声波传感器
│ ├── imu.py # IMU惯性测量单元
│ └── motor_driver.py # 电机驱动
│
├── models/ # 预训练模型
│ ├── yolo_v8n_obstacles.pt # 障碍物检测模型
│ ├── deeplabv3_plus_seg.pt # 语义分割模型
│ └── monodepth_resnet18.pt # 单目深度模型
│
├── data/ # 数据文件
│ ├── obstacle_classes.json # 障碍物类别定义
│ ├── safety_parameters.json # 安全参数配置
│ └── calibration_data.json # 传感器校准数据
│
├── utils/ # 工具函数
│ ├── __init__.py
│ ├── coordinate_transform.py # 坐标变换
│ ├── kalman_filter.py # 卡尔曼滤波
│ ├── collision_checker.py # 碰撞检测
│ └── logger.py # 日志记录
│
└── tests/ # 测试代码
├── test_detection.py
├── test_planning.py
└── test_control.py
💻 核心代码实现
1. 配置文件 (config.py)
"""
残疾人代步车智能辅助避障系统 - 配置文件
包含所有可调参数和系统配置
"""
from dataclasses import dataclass, field
from typing import List, Dict, Tuple, Optional
from enum import Enum
import json
class OperatingMode(Enum):
"""操作模式"""
INDOOR = "indoor" # 室内模式
OUTDOOR = "outdoor" # 室外模式
AUTO = "auto" # 自动模式
MANUAL = "manual" # 手动模式
FOLLOW = "follow" # 跟随模式
PARKING = "parking" # 停车模式
class ObstacleType(Enum):
"""障碍物类型"""
STATIC = "static" # 静态障碍物
DYNAMIC = "dynamic" # 动态障碍物
NARROW_PASSAGE = "narrow" # 狭窄通道
SLOPE = "slope" # 坡道/台阶
WATER = "water" # 积水
UNKNOWN = "unknown" # 未知障碍物
@dataclass
class SensorConfig:
"""传感器配置"""
# 摄像头配置
front_camera_enabled: bool = True
rear_camera_enabled: bool = True
side_camera_enabled: bool = False # 预留
camera_resolution: Tuple[int, int] = (640, 480)
camera_fps: int = 30
camera_flip: bool = False
# 超声波传感器配置
ultrasonic_front_left: bool = True
ultrasonic_front_right: bool = True
ultrasonic_rear_left: bool = True
ultrasonic_rear_right: bool = True
ultrasonic_side_left: bool = False
ultrasonic_side_right: bool = False
ultrasonic_min_range: float = 0.02 # 最小检测距离 (m)
ultrasonic_max_range: float = 4.0 # 最大检测距离 (m)
ultrasonic_angle: float = 15.0 # 波束角 (度)
# IMU配置
imu_enabled: bool = True
imu_sample_rate: int = 100 # Hz
imu_accel_range: float = 2.0 # g
imu_gyro_range: float = 250.0 # deg/s
# 电机配置
left_motor_pin_pwm: int = 17
right_motor_pin_pwm: int = 18
left_motor_pin_dir: int = 27
right_motor_pin_dir: int = 22
motor_max_speed: float = 1.0 # 最大速度 (0-1)
motor_turn_speed: float = 0.5 # 转向速度比例
# 安全配置
emergency_stop_timeout: float = 0.1 # 紧急停止超时 (s)
sensor_fusion_rate: int = 20 # 传感器融合频率 (Hz)
@dataclass
class DetectionConfig:
"""检测配置"""
# YOLOv8障碍物检测
model_path: str = "models/yolo_v8n_obstacles.pt"
conf_threshold: float = 0.5 # 置信度阈值
iou_threshold: float = 0.45 # IOU阈值
max_detections: int = 20 # 最大检测数量
# 障碍物类别映射
obstacle_classes: Dict[int, str] = field(default_factory=lambda: {
0: "person",
1: "bicycle",
2: "car",
3: "motorcycle",
4: "bus",
5: "truck",
6: "bench",
7: "chair",
8: "table",
9: "trash_can",
10: "pole",
11: "tree",
12: "building",
13: "stairs",
14: "curb",
15: "hole",
16: "water_puddle",
17: "low_overhang",
18: "step",
19: "debris"
})
# 危险等级分类
high_risk_classes: List[str] = field(default_factory=lambda: [
"person", "bicycle", "car", "motorcycle", "bus", "truck"
])
medium_risk_classes: List[str] = field(default_factory=lambda: [
"pole", "tree", "curb", "step", "stairs"
])
low_risk_classes: List[str] = field(default_factory=lambda: [
"bench", "chair", "table", "trash_can", "debris"
])
# 深度估计
depth_model_path: str = "models/monodepth_resnet18.pt"
depth_scale_factor: float = 1.0 # 深度缩放因子
min_depth: float = 0.1 # 最小深度 (m)
max_depth: float = 20.0 # 最大深度 (m)
# 语义分割
seg_model_path: str = "models/deeplabv3_plus_seg.pt"
seg_classes_of_interest: List[str] = field(default_factory=lambda: [
"road", "sidewalk", "grass", "water", "obstacle", "curb"
])
@dataclass
class SafetyConfig:
"""安全配置"""
# 安全距离参数
reaction_time: float = 0.5 # 反应时间 (s)
deceleration: float = 3.0 # 减速度 (m/s²)
safety_margin_static: float = 1.0 # 静态障碍物安全裕量 (m)
safety_margin_dynamic: float = 2.0 # 动态障碍物安全裕量 (m)
lateral_clearance: float = 0.3 # 横向安全距离 (m)
# 速度限制
max_speed_indoor: float = 1.0 # 室内最大速度 (m/s)
max_speed_outdoor: float = 2.0 # 室外最大速度 (m/s)
max_speed_manual: float = 3.0 # 手动模式最大速度 (m/s)
min_speed: float = 0.1 # 最小速度 (m/s)
# 坡度适应
max_climb_angle: float = 15.0 # 最大爬坡角度 (度)
max_descend_angle: float = 10.0 # 最大下坡角度 (度)
slope_speed_reduction: float = 0.5 # 坡道降速比例
# 紧急停止
emergency_stop_distance: float = 0.3 # 紧急停止距离 (m)
collision_warning_distance: float = 0.8 # 碰撞警告距离 (m)
# 健康监控
battery_low_threshold: float = 20.0 # 电池低电量阈值 (%)
temperature_warning: float = 60.0 # 温度警告 (°C)
system_health_check_interval: float = 5.0 # 健康检查间隔 (s)
@dataclass
class PathPlanningConfig:
"""路径规划配置"""
# 全局规划
global_planner: str = "astar" # 全局规划算法
local_planner: str = "dwa" # 局部规划算法
# A*算法参数
astar_grid_resolution: float = 0.1 # 栅格分辨率 (m)
astar_allow_diagonal: bool = True # 允许对角线移动
# DWA参数
dwa_predict_time: float = 3.0 # 预测时间 (s)
dwa_velocity_samples: int = 50 # 速度采样数
dwa_robot_radius: float = 0.5 # 机器人半径 (m)
dwa_obstacle_weight: float = 1.0 # 障碍物代价权重
dwa_path_weight: float = 1.5 # 路径跟随权重
dwa_velocity_weight: float = 1.0 # 速度权重
# 路径平滑
path_smoothing_iterations: int = 50 # 平滑迭代次数
path_smoothing_alpha: float = 0.5 # 平滑系数
path_smoothing_beta: float = 0.3 # 曲率约束系数
@dataclass
class MotionControlConfig:
"""运动控制配置"""
# PID控制器参数
pid_kp_linear: float = 1.0 # 线性速度比例增益
pid_ki_linear: float = 0.1 # 线性速度积分增益
pid_kd_linear: float = 0.05 # 线性速度微分增益
pid_kp_angular: float = 2.0 # 角速度比例增益
pid_ki_angular: float = 0.15 # 角速度积分增益
pid_kd_angular: float = 0.08 # 角速度微分增益
# 控制参数
control_frequency: float = 50.0 # 控制频率 (Hz)
max_linear_velocity: float = 2.0 # 最大线速度 (m/s)
max_angular_velocity: float = 1.57 # 最大角速度 (rad/s)
# 自适应参数
adaptive_gain_enabled: bool = True # 启用自适应增益
terrain_compensation: bool = True # 地形补偿
@dataclass
class UserInterfaceConfig:
"""用户界面配置"""
# 语音提示
enable_voice: bool = True
voice_language: str = "zh-CN"
voice_rate: int = 150
voice_volume: float = 0.9
# LED指示
led_pin_status: int = 23
led_pin_warning: int = 24
led_pin_emergency: int = 25
led_blink_frequency_normal: float = 2.0 # Hz
led_blink_frequency_warning: float = 5.0 # Hz
led_blink_frequency_emergency: float = 10.0 # Hz
# 蜂鸣器
buzzer_pin: int = 26
beep_frequency_warning: int = 1000 # Hz
beep_frequency_emergency: int = 2000 # Hz
beep_duration_warning: float = 0.2 # s
beep_duration_emergency: float = 0.5 # s
# 显示屏
display_enabled: bool = False
display_type: str = "oled" # oled / lcd
display_i2c_address: int = 0x3C
@dataclass
class SystemConfig:
"""系统总配置"""
sensor: SensorConfig = SensorConfig()
detection: DetectionConfig = DetectionConfig()
safety: SafetyConfig = SafetyConfig()
planning: PathPlanningConfig = PathPlanningConfig()
control: MotionControlConfig = MotionControlConfig()
ui: UserInterfaceConfig = UserInterfaceConfig()
# 系统参数
operating_mode: OperatingMode = OperatingMode.AUTO
debug_mode: bool = False
log_level: str = "INFO"
simulation_mode: bool = False # 仿真模式（无硬件）
record_data: bool = False # 记录运行数据
# 全局配置实例
CONFIG = SystemConfig()
def load_config_from_file(filepath: str) -> SystemConfig:
"""
从JSON文件加载配置
Args:
filepath: 配置文件路径
Returns:
SystemConfig: 配置对象
"""
try:
with open(filepath, 'r', encoding='utf-8') as f:
config_data = json.load(f)
# 解析配置数据并创建配置对象
# 这里简化实现，实际应完整解析
return CONFIG
except FileNotFoundError:
print(f"[警告] 配置文件不存在: {filepath}，使用默认配置")
return CONFIG
except json.JSONDecodeError as e:
print(f"[错误] 配置文件解析失败: {e}")
return CONFIG
def save_config_to_file(config: SystemConfig, filepath: str):
"""
保存配置到JSON文件
Args:
config: 配置对象
filepath: 保存路径
"""
try:
config_dict = {
'operating_mode': config.operating_mode.value,
'debug_mode': config.debug_mode,
'log_level': config.log_level,
'simulation_mode': config.simulation_mode,
'record_data': config.record_data,
# 其他配置项...
}
with open(filepath, 'w', encoding='utf-8') as f:
json.dump(config_dict, f, indent=4, ensure_ascii=False)
print(f"[信息] 配置已保存到: {filepath}")
except Exception as e:
print(f"[错误] 配置保存失败: {e}")
# 安全参数计算函数
def calculate_safe_distance(speed: float, config: SafetyConfig) -> float:
"""
计算安全距离
Args:
speed: 当前速度 (m/s)
config: 安全配置
Returns:
float: 安全距离 (m)
"""
# 反应距离
reaction_distance = speed * config.reaction_time
# 制动距离
braking_distance = (speed ** 2) / (2 * config.deceleration)
# 总安全距离
safe_distance = reaction_distance + braking_distance + config.safety_margin_static
return max(safe_distance, config.emergency_stop_distance)
def get_obstacle_risk_level(obstacle_class: str, config: DetectionConfig) -> str:
"""
获取障碍物风险等级
Args:
obstacle_class: 障碍物类别
config: 检测配置
Returns:
str: 风险等级 ("high", "medium", "low", "unknown")
"""
if obstacle_class in config.high_risk_classes:
return "high"
elif obstacle_class in config.medium_risk_classes:
return "medium"
elif obstacle_class in config.low_risk_classes:
return "low"
else:
return "unknown"
2. 传感器管理模块 (modules/sensor_manager.py)
"""
传感器管理模块
负责多传感器数据采集、同步和预处理
"""
import time
import threading
import queue
import math
from typing import Dict, List, Optional, Tuple, Any
from dataclasses import dataclass, field
from enum import Enum
import numpy as np
import cv2
from config import CONFIG, SensorConfig
from sensors.camera import Camera
from sensors.ultrasonic import UltrasonicSensor
from sensors.imu import IMUSensor
from sensors.motor_driver import MotorDriver
from utils.kalman_filter import MultiSensorKalmanFilter
from utils.logger import get_logger
logger = get_logger(__name__)
class SensorStatus(Enum):
"""传感器状态"""
OK = "ok"
WARNING = "warning"
ERROR = "error"
DISABLED = "disabled"
NOT_DETECTED = "not_detected"
@dataclass
class SensorReading:
"""传感器读数"""
sensor_id: str
sensor_type: str
timestamp: float
data: Any
status: SensorStatus
confidence: float = 1.0 # 数据可信度 (0-1)
@dataclass
class FusionData:
"""融合后的传感器数据"""
timestamp: float
obstacles: List[Dict] = field(default_factory=list)
depth_map: Optional[np.ndarray] = None
imu_data: Optional[Dict] = None
ultrasonic_distances: Dict[str, float] = field(default_factory=dict)
fused_position: Optional[Tuple[float, float, float]] = None # x, y, theta
environment_type: str = "unknown" # indoor/outdoor
risk_assessment: Dict = field(default_factory=dict)
syst
利用AI解决实际问题，如果你觉得这个工具好用，欢迎关注长安牧笛！