极客玩具：用OpenClaw+Gemma-3-12b-it控制智能家居的另类方法
极客玩具：用OpenClaw+Gemma-3-12b-it控制智能家居的另类方法
1. 为什么需要绕过厂商API？
去年夏天，我家里同时存在三个不同品牌的智能设备：米家空调、华为智慧屏和飞利浦Hue灯泡。每当想调整环境时，我需要在三个App间反复切换。更糟糕的是，部分老型号设备早已被厂商停止维护，官方API接口根本无法调用。
传统解决方案是搭建HomeAssistant中枢，但需要：
- 等待厂商开放API权限（通常需要企业资质）
- 研究各平台OAuth2.0授权流程
- 处理随时可能变更的接口协议
而OpenClaw给了我一条新思路——既然人类可以通过网页/App控制设备，为什么不让AI直接模拟人类操作？
2. 技术方案设计
2.1 核心架构
这套系统的特别之处在于完全避开厂商API，通过以下三种方式实现控制：
网页控制台逆向操作
对提供Web控制台的设备（如华为路由器的管理页面），用OpenClaw自动登录并操作DOM元素。我曾用这段代码自动重启路由器：await page.goto('http://192.168.1.1'); await page.type('#username', 'admin'); await page.click('.login-btn'); await page.waitForSelector('#reboot-button'); await page.click('#reboot-button');红外信号模拟
通过USB红外发射器（如BroadLink RM4）录制/回放信号。Gemma-3-12b-it能准确理解"将客厅空调设为26度"这类指令，并映射到预存的红外编码库。非标协议破解
对使用TCP/UDP私有协议的设备（如某些窗帘电机），用Wireshark抓包分析后，OpenClaw可直接发送十六进制指令。
2.2 为什么选择Gemma-3-12b-it？
相比其他开源模型，这个12B参数的指令微调版特别适合本场景：
- 精准的指令理解：能区分"调暗灯光"和"切换为阅读模式"的细微差别
- 本地部署成本可控：在我的RTX 3090上推理速度达28 tokens/秒
- 优秀的工具调用能力：自动将自然语言转换为OpenClaw可执行的JSON指令
3. 实战过程记录
3.1 环境准备
我的工作目录结构如下（关键文件已脱敏）：
~/smart_home/ ├── ir_codes/ # 红外信号库 │ ├── ac_18.json │ └── light_warm.json ├── protocol/ # 逆向协议 │ └── curtain.bin └── openclaw_config/ # 技能配置 ├── hue.yaml └── broadlink.js3.2 关键代码片段
这段Python代码展示了如何将自然语言转换为实际操作。当我说"睡前模式"时：
def parse_command(text): response = gemma.generate( f"将用户指令转换为JSON动作：{text}", tools=[{ "type": "function", "function": { "name": "control_device", "parameters": { "device": {"type": "string"}, "action": {"type": "string"}, "value": {"type": "string"} } } }] ) return json.loads(response.tool_calls[0].arguments)输出结果示例：
{ "device": "master_bedroom", "action": "set_scene", "value": "sleep_mode" }3.3 遇到的那些坑
浏览器自动化陷阱
某品牌网页控制台使用动态class名，最终通过XPath解决：//div[contains(@class,'temperature')]/input红外信号干扰
最初直接回放录制的信号成功率仅60%，后来发现需要添加200ms延时。模型幻觉问题
Gemma有时会虚构不存在的设备功能，通过few-shot prompt解决：已知设备：空调（开关/温度/模式）、灯光（开关/颜色/亮度） 请严格按以上功能回复，若指令超出范围请回答"不支持该操作"
4. 安全与隐私考量
所有操作都在本地完成的特点带来了显著优势：
- 无云端依赖：断网时仍能通过本地缓存的红外码库控制
- 数据不出户：语音指令、设备状态等敏感信息不会上传
- 权限隔离：OpenClaw以普通用户权限运行，通过sudo授权特定命令
我曾用Wireshark验证过，整个过程中：
- 没有向厂商服务器发送任何数据
- 没有调用任何第三方API
- 所有红外信号仅在局域网内传输
5. 还能走多远？
目前这套系统已经稳定运行三个月，但仍有改进空间：
- 对新型设备的支持需要手动逆向，未来考虑加入自动协议分析模块
- 多设备联动场景下，Gemma的规划能力有时会混乱，可能需要引入更复杂的任务分解机制
- 现在每次修改配置都需要重启OpenClaw服务，计划开发热加载功能
最让我惊喜的是，父母通过简单的语音指令就能操作这套系统，完全不需要理解背后的技术原理。这种"技术隐身"的体验，或许才是智能家居应有的样子。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。