当前位置：首页 > news >正文

ollama-QwQ-32B微调实践：OpenClaw专属指令集训练

news 2026/3/26 18:35:20

ollama-QwQ-32B微调实践：OpenClaw专属指令集训练

1. 为什么需要专属指令集

去年冬天，当我第一次尝试用OpenClaw自动整理电脑上的技术文档时，遇到了一个尴尬的问题：我习惯说"把上周的会议记录整理成Markdown"，而AI助手却执着地要求我提供精确的日期范围。这种表达方式的不匹配，让我意识到通用模型在个性化场景中的局限性。

经过三个月的实践，我发现通过微调让模型理解个人化的指令表达，可以显著提升OpenClaw的可用性。比如现在我只需要说"老规矩整理文档"，它就能自动按照我习惯的格式和目录结构完成任务。这种默契的建立，正是通过ollama-QwQ-32B的微调实现的。

2. 数据准备：从OpenClaw日志中提取黄金样本

2.1 收集原始交互数据

我首先从OpenClaw的工作日志中提取了近两个月约1200条有效交互记录。这些日志存储在~/.openclaw/logs/目录下，使用以下命令可以快速筛选出有价值的对话：

grep -r "user_input" ~/.openclaw/logs/ | awk -F'"' '{print $4}' > raw_inputs.txt grep -r "agent_response" ~/.openclaw/logs/ | awk -F'"' '{print $4}' > raw_responses.txt

2.2 构建训练数据集

将原始数据整理成标准的指令微调格式需要特别注意几个要点：

保留个人表达习惯的多样性（比如我习惯用"搞一下"代替"请执行"）
标注任务的实际意图（将"把那个文件发我"映射到具体的文件操作指令）
添加领域特定的负样本（明确拒绝处理敏感文件的操作）

最终的数据集结构如下：

{ "instruction": "把上周的会议记录整理成Markdown", "input": "", "output": "已按照2023-12会议模板整理12月4日-12月8日的会议记录，保存在~/Documents/会议纪要/2023-12-week49.md", "task_type": "document_organization" }

3. Lora适配器训练实战

3.1 环境配置

我选择在本地MacBook Pro（M1 Max, 64GB内存）上运行训练，使用ollama的QwQ-32B作为基础模型。以下是关键的环境准备步骤：

# 安装必要的Python包 pip install torch==2.1.0 transformers==4.35.0 peft==0.7.0 # 下载基础模型 ollama pull qwq-32b # 准备训练脚本（基于QLoRA） git clone https://github.com/artidoro/qlora cd qlora && pip install -r requirements.txt

3.2 训练参数调优

经过多次实验，我发现以下参数组合在保持模型通用能力的同时，能最好地适配我的指令风格：

{ "lora_rank": 64, "lora_alpha": 16, "target_modules": ["q_proj", "k_proj", "v_proj"], "batch_size": 2, "gradient_accumulation_steps": 4, "learning_rate": 2e-5, "max_steps": 500, "warmup_ratio": 0.03 }

特别需要注意的是，训练过程中要监控模型在通用任务上的表现。我设置了一个验证集，包含20%的原始数据，确保模型不会过度拟合我的个人表达方式。

4. 模型集成与效果验证

4.1 将Lora适配器集成到OpenClaw

训练完成后，需要将生成的adapter_model.bin文件配置到OpenClaw的模型目录中：

cp ./output/adapter_model.bin ~/.openclaw/models/custom_adapters/my_style/

然后在openclaw.json中新增模型配置：

{ "models": { "providers": { "my_qwq": { "baseUrl": "http://localhost:11434", "api": "ollama", "models": [ { "id": "qwq-32b", "name": "QwQ-32B-Custom", "adapters": ["/Users/yourname/.openclaw/models/custom_adapters/my_style"], "contextWindow": 32768 } ] } } } }