OpenClaw操作录制：ollama-QwQ-32B学习人工流程生成自动化脚本
OpenClaw操作录制：ollama-QwQ-32B学习人工流程生成自动化脚本
1. 为什么需要操作录制功能
上周我在整理月度运营报告时，突然意识到自己正在重复第7次执行完全相同的操作流程：打开三个数据源表格→复制特定列→粘贴到汇总表→生成折线图→导出PNG。这种机械劳动让我开始思考——能否让AI学习我的操作并自动生成可重复执行的脚本？
这正是OpenClaw的recorder插件结合ollama-QwQ-32B模型的用武之地。不同于传统宏录制工具，这套方案能理解操作意图并生成带条件判断的参数化脚本。经过两周实践，我已成功将5个重复工作流转化为自动化任务，节省了约60%的操作时间。
2. 环境准备与核心组件
2.1 基础环境配置
我的测试环境是MacBook Pro (M1, 16GB)，系统版本macOS Sonoma 14.5。需要预先部署以下组件：
# 安装OpenClaw核心框架 curl -fsSL https://openclaw.ai/install.sh | bash # 添加recorder插件 openclaw plugins install @m1heng-clawd/recorder # 部署ollama-QwQ-32B服务（需提前安装ollama） ollama pull qwq-32b ollama serve2.2 关键组件作用解析
- Recorder插件：以10fps频率捕获鼠标轨迹、键盘输入和窗口焦点变化，生成带时间戳的操作序列
- ollama-QwQ-32B：将原始操作数据转化为结构化YAML脚本，支持添加参数和条件分支
- OpenClaw执行引擎：解析YAML并调用系统API执行具体操作
特别提醒：ollama服务默认运行在11434端口，需要在OpenClaw配置中明确指定：
// ~/.openclaw/openclaw.json { "models": { "providers": { "ollama-local": { "baseUrl": "http://localhost:11434", "api": "openai-completions" } } } }3. 录制真实工作流实战
3.1 启动录制会话
在终端执行以下命令开始录制：
openclaw recorder start --session-name "data_report" \ --output-format yaml \ --model ollama-local/qwq-32b此时屏幕右下角会出现红色圆形录制图标。我按常规流程完成了一次完整的报表生成操作：
- 打开Excel并导入sales.csv
- 筛选出Q2季度数据
- 使用SUMIFS函数计算分区域销售额
- 生成区域对比柱状图
- 另存为report_Q2.xlsx
完成后按Cmd+Shift+R停止录制，原始操作数据会自动发送给ollama-QwQ-32B进行转换。
3.2 解析生成的YAML脚本
模型返回的YAML脚本包含令人惊喜的智能优化：
name: sales_report_generator version: 1.0 parameters: - name: quarter type: string default: "Q2" - name: regions type: list default: ["North", "South", "East", "West"] steps: - action: open_app target: "/Applications/Microsoft Excel.app" timeout: 10s - action: keystroke command: "Cmd+O" delay: 1s - action: type_text content: "~/Documents/sales.csv" delay: 0.5s - action: click target: image: "filter_button.png" confidence: 0.9 condition: "{{ quarter in ['Q1','Q2','Q3','Q4'] }}" - action: hotkey command: "Cmd+S" save_as: "report_{{ quarter }}.xlsx"脚本中出现了我未明确指定的智能特性：
- 将硬编码的"Q2"转化为参数变量
- 自动添加了文件路径的波浪号扩展
- 为筛选操作添加了季度有效性检查
- 使用图像识别定位模糊的筛选按钮
4. 高级功能深度应用
4.1 参数化与条件执行
通过修改YAML脚本，可以实现更复杂的业务逻辑。这是我为周报自动化添加的条件分支：
- action: run_script script: | import datetime week_num = datetime.datetime.now().isocalendar()[1] return {"week": f"W{week_num}"} register: current_week - action: type_text content: "Weekly Report {{ current_week.week }}" condition: "{{ current_week.week in ['W1','W2','W3','W4'] }}" fallback: - action: type_text content: "Monthly Summary"4.2 人工修正与迭代优化
首次生成的脚本通常需要微调。我发现两个典型修正场景：
- 坐标定位问题：将绝对坐标
[x,y]改为相对元素定位
- position: [1245, 880] + target: + text: "Export" + role: "button"- 添加重试机制：为网络依赖操作添加重试逻辑
retry: times: 3 delay: 2s on_failure: skip5. 实际效果与经验总结
经过一个月的使用，这套方案展现出三个突出价值：
- 学习成本低：不需要编程知识，通过演示就能创建自动化脚本
- 灵活性强：生成的YAML脚本易于人工阅读和修改
- 可组合性：多个脚本可以通过OpenClaw的Skill机制串联使用
但也遇到几个典型问题：
- 高频操作（如快速连续点击）可能丢失事件
- 动态UI元素需要依赖图像识别或辅助文本定位
- 长流程脚本需要拆分为子任务模块
建议从短流程（<10步）的任务开始试验，逐步扩展到复杂场景。我的个人经验是：先录制核心路径，再手动添加参数和异常处理逻辑，这样开发效率最高。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。