第 18 章 AI Service Hub：PC端离线AI大脑 极低成本 · 实物上手 · 可迁移至高端人形平台
第六部分：AI大脑与语音交互
第 18 章 AI Service Hub：PC端离线AI大脑 极低成本 · 实物上手 · 可迁移至高端人形平台
18.1 为什么AI要跑在PC端
我最早把ASR、LLM、TTS全部塞进ARM嵌入式主板。结果ASR识别一句话要3-5秒，LLM推理要10-15秒，TTS合成要5-8秒——用户说一句话，等将近30秒才能听到回复。更致命的是，AI推理吃掉了大量CPU，ROS2的100Hz控制循环开始丢帧，机器人站都站不稳了。
所以我做了一个关键决策：AI推理和实时控制必须物理隔离。 机器人端只负责100Hz的实时控制（平衡+舵机驱动），所有AI推理（ASR+LLM+TTS）全部放到PC端。PC的GPU比ARM的CPU快几十倍，而且不用担心资源抢占。机器人端和PC端通过WiFi通信——机器人把麦克风录到的音频流发给PC，PC把合成的语音和解析出的指令发回机器人。
这个决策还有个好处：PC端的AI模型可以随时升级，不需要动机器人上的任何代码。换一个更大的LLM模型，只需要在PC上替换GGUF文件，重启服务即可。这种物理隔离的架构还带来了一个投资回报：你可以用一台干净的游戏本来跑所有AI服务，而机器人本体只需要一块低功耗的ARM板卡就能完成实时控制。这意味着你可以把省下来的预算用在更好的舵机和传感器上，而不是把钱花在给机器人买一块贵的GPU模组。
由于乐宝机器人主要运行在家庭环境，因为我这里就以家庭游戏PC机作为了提供AIServiceHub的载体来讲解这部分模块的功能了。