基于ESP32S3的AI对话手办：小智双目可无线充电（骷髅）项目全解析
基于ESP32S3的AI对话手办：小智双目可无线充电（骷髅）项目全解析
最近在逛开源硬件社区，发现了一个特别有意思的项目——一个会说话、会思考、眼睛还能独立显示的智能骷髅手办。它基于ESP32S3，集成了离线语音唤醒、AI对话、双目屏和无线充电，简直就是创客和嵌入式爱好者的“梦中情板”。很多朋友看了演示视频后都跃跃欲试，但又觉得涉及AI和硬件，门槛会不会很高？别担心，今天我就来当一回“导游”，带大家把这个项目的里里外外、从硬件到软件，彻底“盘”明白。无论你是想复现一个，还是想借鉴其中的技术用到自己的项目里，这篇文章都能给你一份清晰的路线图。
1. 项目概览：这到底是个啥？
简单来说，这是一个将智能语音助手“塞进”一个骷髅手办里的项目。它不是一个简单的蓝牙音箱，而是一个具备本地处理能力的AI交互终端。
它的核心能力可以概括为“听、说、想、看、动”：
- 听：通过板载麦克风，可以离线唤醒（比如喊“小智小智”），并能实时识别你说的话。
- 说：能够将AI生成的文字回答，用语音合成（TTS）的方式“说”出来。
- 想：内置了对多种大语言模型（LLM）的支持，可以进行有逻辑、有上下文的智能对话，甚至能记住之前的聊天内容。
- 看：最大的亮点之一！它有两个独立的圆形显示屏作为“眼睛”，可以分别控制显示不同的图像或动画，让表情更生动。
- 动：预留了舵机控制接口，理论上可以驱动头部、手臂等关节，让手办“活”起来。
- 充：支持无线充电，摆脱线缆束缚，让手办可以随意摆放。
这个项目的灵魂在于其主控芯片——ESP32-S3。这颗芯片不仅提供了强大的双核处理能力和丰富的IO，更重要的是它集成了16MB的Flash和8MB的PSRAM。大容量的存储空间是运行语音模型和AI对话程序的关键，而PSRAM（伪静态随机存储器）则让芯片能够流畅地处理图像、音频等大量数据。可以说，硬件选型是项目成功的第一步。
2. 硬件拆解：板子上都有什么？
要玩转一个项目，首先得了解它的“身体构造”。我们来看看这块定制开发板上都集成了哪些资源。
根据项目提供的硬件说明图，我们可以梳理出以下几个核心部分：
2.1 核心大脑：ESP32-S3模组
这是整个系统的控制中心。我们重点关注它的几个特性：
- 双核Xtensa® 32位LX7处理器：性能强劲，可以一个核心处理网络、AI任务，另一个核心处理显示、传感器等。
- Wi-Fi 4 (2.4 GHz) 和 Bluetooth 5 (LE)：实现联网获取信息、与手机APP连接等功能。
- 集成16MB Flash + 8MB PSRAM：这是项目的“硬通货”。16MB Flash用来存放庞大的固件、语音模型文件；8MB PSRAM为运行时的语音识别、图像处理提供了充足的内存“战场”。
2.2 感知器官：麦克风与预留接口
- 麦克风：用于拾取环境声音，是实现语音唤醒和识别的基础。根据资料，成品版本使用了双麦克风阵列，在安静环境下拾音距离可达5米，这大大提升了交互体验。
- 摄像头接口：板上预留了摄像头接口，为后续扩展视觉识别（比如人脸识别、手势识别）提供了可能。
2.3 表达窗口：双目显示屏
这是项目最吸引人的地方之一。板载了两个独立的显示屏接口，分别驱动骷髅的“左眼”和“右眼”。
- 独立控制：这意味着你可以编程让左眼显示愤怒的红色，右眼显示疑惑的蓝色，创造出非常丰富的表情。
- 素材灵活：项目提供了双目素材的使用方法和程序，你可以自己制作GIF动画、静态图片，让手办的眼睛“讲故事”。
2.4 动作关节：舵机控制接口
板上留有PWM（脉冲宽度调制）接口，专门用于控制舵机。舵机是模型、机器人里常用的执行器，可以精确控制旋转角度。通过这个接口，你可以让骷髅的头部左右转动、下巴开合，实现更生动的互动。
2.5 能量心脏：电源与无线充电
- 无线充电接收线圈接口：这是实现“无线化”的关键。配合一个通用的无线充电底座，手办放上去就能充电，非常方便。
- 电源管理芯片：成品版本增加了专业的电源管理芯片，能更高效、稳定地为各个模块供电，特别是保证ESP32-S3在高负载运行时的电压稳定。
2.6 调试与扩展：其他接口
- UART串口：除了用于下载程序、打印调试信息，这个串口还可以用来连接总线舵机。总线舵机只需要一根线就能串联控制多个，非常适合机器人项目。
- 陀螺仪：成品版本集成了陀螺仪，可以感知手办的姿态（倾斜、晃动），为交互增加新的维度（比如晃一晃它再提问）。
为了方便大家查阅，我将核心硬件资源总结成下表：
| 模块 | 型号/规格 | 主要功能 |
|---|---|---|
| 主控 | ESP32-S3 (16MB Flash, 8MB PSRAM) | 核心计算、Wi-Fi/蓝牙连接、运行AI程序 |
| 语音输入 | 板载麦克风 (成品为双麦阵列) | 拾音，实现唤醒和语音识别 |
| 显示输出 | 双目独立显示屏接口 | 分别控制两个“眼睛”显示内容 |
| 动作输出 | PWM舵机控制接口 | 驱动舵机，实现头部、手臂等动作 |
| 充电方式 | 无线充电接收接口 | 支持Qi等标准无线充电 |
| 扩展接口 | UART、摄像头接口 | 连接总线舵机、扩展视觉功能 |
| 传感器 | 陀螺仪 (成品版本) | 检测手办姿态，实现姿态交互 |
| 电源管理 | 专用电源管理芯片 (成品版本) | 提供稳定高效的供电 |
3. 软件与AI功能解析：它如何“思考”和“说话”？
硬件是骨架，软件才是灵魂。这个项目的软件核心是基于“虾哥小智”开源固件（版本1.8.9）进行改写的。我们来看看它实现了哪些智能功能。
3.1 离线语音唤醒与识别
这是实现“随时待命”交互的基础。项目使用了乐鑫官方提供的ESP-SR（Espressif Speech Recognition）框架。
- 唤醒词：你可以设定一个词，比如“小智小智”。这个识别过程完全在本地完成，不依赖网络，响应速度快，且保护隐私。
- 流式ASR：唤醒之后，你说的整段话会被实时识别成文字（Automatic Speech Recognition）。“流式”意味着边说边识别，不用等你说完一整句再处理，体验更自然。
- VAD（语音活动检测）：这个模块能智能判断你什么时候开始说话、什么时候说完。避免了环境噪音被误识别，也节省了处理资源。
3.2 智能对话与记忆
这是项目的“大脑”部分。
- 多LLM支持：项目支持接入多种大语言模型。这意味着你可以根据需求，选择不同规模、不同特性的AI模型来驱动对话，平衡响应速度和回答质量。
- 短期记忆：AI不仅能回答当前问题，还能记住对话的上下文。其原理是对每一轮对话进行关键信息总结，并将总结作为历史信息输入给下一轮对话，从而模拟出连续对话的能力。
- 角色自定义：你可以通过设置“提示词”（Prompt）来定义手办的性格，比如让它扮演一个博学的巫师，或者一个幽默的朋友。同时，还能调整语音合成的音色，让它的“声音”更符合角色设定。
3.3 双目屏与动作控制
软件需要协调好“思考”和“表达”。
- 双目屏控制程序：这部分代码负责管理两个显示屏。你需要根据项目提供的素材方法和程序，将处理好的图像或动画数据，分别发送到对应的屏幕驱动接口。例如，在思考时让眼睛显示旋转的圆圈，在说话时让眼睛的图案跟随语音节奏变化。
- 舵机控制逻辑：通过PWM接口产生特定规律的方波信号，来控制舵机旋转到指定角度。你可以编程实现一些简单的动作序列，比如点头、摇头，让对话更有生命力。
4. 如何开始：获取资源与复现指南
如果你已经心动了，想自己动手做一个或者深入研究代码，以下是清晰的路径。
4.1 资源获取
软件源码：项目的所有开源代码都在GitHub上。
https://github.com/wgqabc/bcore-8311-eye仓库里包含了改写的固件源码、双目屏的控制示例等。你可以克隆到本地进行研究和二次开发。
硬件获取：
- DIY爱好者：可以根据项目开源的硬件设计文件（通常在立创EDA等平台），自行打板、采购元件焊接。这对硬件动手能力要求较高。
- 快速体验/开发者：作者提供了成品开发板/套件的购买渠道。成品在开源版本基础上做了优化，比如使用了双麦克风、增加了陀螺仪和电源管理芯片，更适合直接开发产品。
注意：成品淘宝店铺为【蓝芯智能科技】，在购买或查阅时请注意识别。
社区交流：项目后续的交流主要通过QQ群进行。遇到问题可以在这里与作者和其他开发者讨论。
4.2 开发环境搭建与程序烧录
对于大多数开发者，复现软件部分是最关键的。你需要搭建ESP-IDF开发环境。
- 安装ESP-IDF：前往乐鑫官方GitHub，按照指南安装ESP-IDF v5.0或更高版本。这是开发ESP32-S3的官方框架。
- 获取项目代码：使用Git克隆上面提到的GitHub仓库到本地。
- 配置项目：进入项目目录，通常需要使用
idf.py set-target esp32s3设置目标芯片，然后idf.py menuconfig来配置具体的参数，比如Wi-Fi密码、选择的AI模型服务等。 - 编译与烧录：连接开发板到电脑，使用
idf.py build编译，idf.py -p PORT flash将固件烧录到板子的Flash中（PORT是你的串口号，如COM3或/dev/ttyUSB0）。 - 上传文件系统：语音唤醒模型、UI素材等大文件通常存放在SPIFFS或FATFS文件系统分区里。你需要使用
idf.py -p PORT flash命令来烧录文件系统镜像，或者通过专门的工具上传。
4.3 自定义你的手办
当你让基础固件跑起来后，就可以开始发挥了：
- 修改唤醒词：在ESP-SR的配置中，尝试训练或更换一个你喜欢的唤醒词。
- 制作眼睛动画：使用项目提供的工具和方法，制作一系列GIF或图片序列，修改代码让手办在不同的状态（唤醒、聆听、思考、说话）下显示不同的眼睛动画。
- 设计对话逻辑：在AI对话回调函数里，你可以根据识别到的特定关键词，触发特殊的动作或眼睛表情，实现更精准的互动。
- 添加舵机动作：编写简单的舵机控制函数，并在对话的特定节点调用，让手办“边说话边点头”。
这个项目就像一个功能丰富的智能机器人开发平台，ESP32-S3的强大性能为各种创意提供了坚实的底座。从离线语音到AI对话，从双目显示到无线充电，它几乎囊括了当前小型智能硬件的所有热门技术点。无论是学习、研究还是产品原型开发，都具有很高的价值。希望这篇解析能帮你打开思路，祝你玩得开心，创造出更有趣的作品！