OpenClaw定时任务：Qwen3.5-9B每日自动抓取行业资讯
OpenClaw定时任务：Qwen3.5-9B每日自动抓取行业资讯
1. 为什么需要自动化资讯服务？
作为一个技术从业者，每天早晨打开电脑的第一件事就是查看行业动态。但手动浏览十几个网站、筛选重复内容、整理关键信息的过程实在太耗费时间。更糟糕的是，有时候因为会议冲突，连这个例行公事都不得不跳过。
直到我发现OpenClaw这个开源自动化框架，配合Qwen3.5-9B模型的智能处理能力，终于实现了"躺平也能获取优质资讯"的理想状态。现在每天早上9点，飞书机器人都会准时推送一份经过去重、分类和摘要的行业简报，内容覆盖我关注的AI、云计算和开源社区动态。
2. 系统架构与核心组件
2.1 技术选型思路
这个自动化系统的核心在于三个关键组件的协同：
- OpenClaw：作为执行引擎，负责定时触发、网页抓取和任务调度
- Qwen3.5-9B：处理非结构化数据，进行内容去重、分类和摘要生成
- 飞书机器人：作为推送通道，确保信息及时触达
选择Qwen3.5-9B而非更大模型的原因很实际：对于资讯摘要这种相对简单的任务，9B参数模型在保持较高准确性的同时，推理速度更快且token消耗更经济。实测显示，处理单篇文章的token消耗控制在800-1200之间。
2.2 数据流设计
整个系统的运行流程如下：
- OpenClaw定时任务通过cron表达式触发
- 使用内置浏览器组件抓取预设网站列表
- 原始HTML经过清洗后存入临时Markdown文件
- Qwen3.5-9B模型读取文件并执行：
- 内容去重（基于语义相似度）
- 关键信息提取
- 生成结构化摘要
- 最终报告通过飞书webhook推送到指定群组
3. 具体实现步骤
3.1 环境准备与安装
首先确保已部署OpenClaw基础环境。我使用的是macOS系统，安装过程非常简单：
curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --install-daemon在配置向导中选择Advanced模式，关键配置项包括：
- Provider选择
Qwen - Model选择
qwen3.5-9b - 启用
Cron Scheduler和Web Scraper技能模块
3.2 飞书通道配置
为了让日报能自动推送，需要配置飞书集成：
openclaw plugins install @m1heng-clawd/feishu然后在飞书开放平台创建应用，获取App ID和App Secret后，更新配置文件：
{ "channels": { "feishu": { "enabled": true, "appId": "your_app_id", "appSecret": "your_app_secret", "connectionMode": "websocket" } } }3.3 定时任务设置
在OpenClaw的工作目录创建任务描述文件daily_news.yaml：
triggers: - type: cron expression: "0 8 * * *" # 每天上午8点执行 tasks: - name: fetch_tech_news steps: - action: scrape targets: - url: "https://example.com/ai-news" selectors: [".article-list"] - url: "https://blog.example.org/cloud" selectors: ["main.content"] output: /tmp/news_raw.md - name: process_content requires: [fetch_tech_news] steps: - action: llm_process model: qwen3.5-9b prompt: > 请对以下文章进行去重、分类和摘要： 1. 移除内容相似度>80%的重复文章 2. 按AI、云计算、开源三个类别分组 3. 每组生成3-5条关键要点 {{file:/tmp/news_raw.md}} output: /tmp/news_summary.md - name: deliver_report requires: [process_content] steps: - action: feishu_message content: "{{file:/tmp/news_summary.md}}" chat_id: "oc_xxxxxx" # 飞书群聊ID3.4 模型参数调优
为了让Qwen3.5-9B更好地处理资讯内容，我在模型调用时添加了以下参数：
{ "temperature": 0.3, "top_p": 0.9, "max_tokens": 1500, "stop": ["## 结束"] }这些设置可以确保：
- 输出更加确定性和结构化（低temperature）
- 避免过度截断（足够的max_tokens）
- 有明确的结束标记（stop sequence）
4. 实际效果与优化经验
4.1 运行效果展示
经过两周的持续运行，系统稳定产生了14份日报。典型输出结构如下：
# 2024-03-15 技术日报 ## AI动态 • OpenAI发布新文本转视频模型Sora... • 谷歌研究人员提出新型神经网络架构... ## 云计算 • AWS宣布Lambda函数冷启动时间优化方案... • 阿里云推出新一代弹性裸金属实例... ## 开源社区 • Apache基金会新增孵化项目Kyuubi... • Rust 1.75版本发布，带来重要改进...4.2 踩坑与解决方案
问题1：网页结构变化导致抓取失败某些网站改版后，原先的CSS选择器失效。解决方案是：
- 使用更宽松的选择器（如
article标签） - 添加备用选择器策略
- 设置重试机制
问题2：模型有时会产生幻觉摘要通过以下方法显著改善：
- 在prompt中明确要求"严格基于原文"
- 添加示例few-shot
- 设置
temperature=0.3降低随机性
问题3：飞书消息格式混乱Markdown转换时出现排版问题，最终采用：
- 预处理Markdown中的复杂元素
- 使用飞书支持的有限Markdown语法子集
- 长内容自动分多条发送
5. 扩展可能性与个人建议
这个自动化系统的美妙之处在于它的可扩展性。基于相同框架，我已经开始尝试：
- 添加情感分析维度，标记资讯的积极/消极倾向
- 与个人知识管理系统联动，自动归档重要资讯
- 在周五生成一周回顾特别版
对于想要尝试类似系统的朋友，我的建议是：
- 从小范围开始，先验证单个网站的处理流程
- 逐步添加来源，监控模型负载
- 保留人工复核环节，特别是在初期
- 定期审查prompt效果，持续优化
这个项目最让我满意的不是技术本身，而是它真正解决了一个日常痛点。现在我可以把早晨的时间用在更有价值的事情上，而不会错过任何重要行业动态。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。