当前位置：首页 > news >正文

OpenClaw语音交互：Qwen3.5-9B+Whisper实现本地语音助手

news 2026/8/3 23:06:53

OpenClaw语音交互：Qwen3.5-9B+Whisper实现本地语音助手

1. 为什么需要全离线语音方案？

上周深夜两点，我正在调试智能家居的自动化流程时，突然意识到一个问题：每次用手机APP控制设备，都要经历解锁-打开APP-点击按钮的繁琐操作。更让我不安的是，这些操作数据都会经过第三方服务器。作为一个注重隐私的开发者，我开始寻找完全本地的语音控制方案。

经过多次尝试，最终用OpenClaw+Qwen3.5-9B+Whisper搭建的语音助手完美解决了这个问题。整个方案完全运行在我的MacBook Pro上，从语音输入到设备控制，所有数据处理都在本地完成。今天就来分享这个实现过程。

2. 核心组件与技术选型

2.1 硬件与基础环境

我的开发环境是2021款M1 MacBook Pro（16GB内存），系统为macOS Sonoma 14.5。选择这个配置是因为：

M1芯片的神经引擎能加速Whisper的实时语音转写
16GB内存刚好满足Qwen3.5-9B的推理需求
macOS对音频设备的支持更完善

2.2 关键软件组件

这套方案的核心是三个组件的协同：

Whisper.cpp：苹果优化版的语音转写引擎，转写延迟控制在300ms内
Qwen3.5-9B：通过OpenClaw接入的本地大模型，负责意图识别和任务规划
OpenClaw：执行终端操作和智能家居控制的框架

特别要说明的是，我选择Qwen3.5-9B而不是更小的模型，是因为它在中文理解和长上下文保持上的优势。实测7B以下的模型在连续对话时容易"遗忘"前文语境。

3. 具体实现步骤

3.1 环境准备与安装

首先通过星图平台获取Qwen3.5-9B的镜像，使用以下命令快速部署：

docker pull registry.cn-hangzhou.aliyuncs.com/qingchen/qwen3.5-9b:latest docker run -d -p 8000:8000 --name qwen3.5 registry.cn-hangzhou.aliyuncs.com/qingchen/qwen3.5-9b

接着安装Whisper.cpp的Mac优化版：

brew install whisper.cpp pip install sounddevice numpy

最后配置OpenClaw，关键是要修改~/.openclaw/openclaw.json中的模型地址：

{ "models": { "providers": { "local-qwen": { "baseUrl": "http://localhost:8000/v1", "api": "openai-completions", "models": [ { "id": "qwen3.5-9b", "name": "Local Qwen3.5", "contextWindow": 32768 } ] } } } }

3.2 语音处理流水线搭建

整个语音交互流程通过Python脚本串联，核心代码如下：

# 语音采集与转写 def transcribe_audio(): with sd.InputStream(callback=audio_callback): whisper_model = whisper.load_model("tiny") while True: audio = get_audio_buffer() text = whisper_model.transcribe(audio)["text"] if len(text) > 1: # 过滤空白语音 return text # 意图识别与执行 def process_command(text): openclaw = OpenClawClient("http://localhost:18789") response = openclaw.execute( f"用户语音指令：{text}。请分析意图并执行对应操作" ) return response["output"] # 语音合成回复 def text_to_speech(text): os.system(f'say -v "Ting-Ting" "{text}"')

这个流水线实现了"听-想-做-说"的完整闭环，实测端到端延迟在1.5秒左右。