OpenClaw数据清洗：Qwen3.5-9B处理Excel异常值与格式转换

OpenClaw数据清洗：Qwen3.5-9B处理Excel异常值与格式转换

1. 为什么需要AI介入数据清洗？

上周五下午4点，市场部的同事突然发来一份3.7MB的销售报表，要求我在下班前完成数据清洗并提交分析结果。当我打开那个包含27个工作表的Excel文件时，立刻发现了问题：日期格式横跨"2023/12/31"、"Dec-31-2023"、"31-Dec-23"三种样式，部分销售额数字混入了文本备注，还有几十处明显超出合理范围的异常值。

传统做法是手动编写Python脚本或使用Excel高级筛选，但面对这种复杂情况，我决定尝试用OpenClaw+Qwen3.5-9B构建自动化清洗流程。最终这个方案让我在45分钟内完成了原本需要4小时的工作，更重要的是——整个过程不需要我逐行检查数据。

2. 环境准备与模型对接

2.1 基础环境配置

我的工作环境是MacBook Pro (M1, 16GB)，已通过Homebrew安装OpenClaw：

brew install node@22 npm install -g openclaw@latest openclaw onboard

在配置向导中选择：

• Mode: Advanced（需要自定义模型参数）
• Provider: Custom（对接本地部署的Qwen3.5-9B）
• Model: 手动填写本地服务地址

2.2 本地模型服务对接

我在同一台机器上通过星图平台部署了Qwen3.5-9B镜像，服务地址为http://localhost:5000/v1。修改~/.openclaw/openclaw.json配置文件：

{ "models": { "providers": { "local-qwen": { "baseUrl": "http://localhost:5000/v1", "apiKey": "NULL", "api": "openai-completions", "models": [ { "id": "qwen3.5-9b", "name": "Local Qwen3.5-9B", "contextWindow": 128000, "maxTokens": 8192 } ] } } } }

验证连接状态：

openclaw gateway restart openclaw models list

3. 构建数据清洗工作流

3.1 技能安装与初始化

通过ClawHub安装数据处理专用技能包：

clawhub install>def clean_data(file_path): # 加载Excel文件 df = pd.read_excel(file_path, sheet_name=None) # 异常值检测 df = detect_outliers(df, min=100, max=50000) # 日期格式化 df = standardize_dates(df, output_format="%Y-%m-%d") # 文本清理 df = remove_whitespace(df) # 输出结果 df.to_csv("~/Documents/cleaned_sales.csv", index=False)

4. 实战中的问题与解决方案

4.1 多工作表处理难题

原始Excel包含27个地区分表，模型最初只处理了第一个工作表。通过追加指令解决：

"请对所有工作表执行相同的清洗流程，最终合并为一个CSV文件"

OpenClaw自动调整代码逻辑，添加了工作表遍历和合并功能。

4.2 模糊日期识别

遇到"3/4/2023"这类歧义日期（可能是3月4日或4月3日），Qwen3.5-9B展示了出色的上下文理解能力：

1. 自动检查数据源地区的日期习惯（确定为月/日/年）
2. 对无法确定的5条记录生成待确认列表
3. 通过飞书机器人推送确认请求

4.3 异常值处理策略

模型检测到三类异常情况：

• 明显错误：如"$1,200"写成"1200美元"（自动修正）
• 可疑数据：单价200元但数量9999（生成审核标记）
• 业务例外：促销活动的0元订单（保留原值并添加注释）

5. 效果验证与效率对比

5.1 质量检查结果

使用data-cleaner技能的质量检查功能：

clawhub run>