OpenClaw+百川2-13B自动化内容处理：从网页抓取到Markdown生成
OpenClaw+百川2-13B自动化内容处理：从网页抓取到Markdown生成
1. 为什么需要自动化内容处理流水线
作为一个技术博客作者，我每天需要处理大量信息。上周在准备一篇关于大模型量化技术的文章时，我发现自己陷入了这样的循环：打开十几个浏览器标签页阅读不同来源的文章→手动复制关键段落到记事本→整理内容逻辑→最后再转成Markdown格式。整个过程耗费了整整三个小时，而真正用于思考和写作的时间不到半小时。
这种低效的内容处理方式促使我开始寻找自动化解决方案。我的核心需求很明确：
- 信息抓取：自动从技术博客、文档站抓取指定主题的内容
- 智能摘要：用大模型提取核心观点并生成结构化摘要
- 格式转换：将处理后的内容自动转为标准Markdown格式
- 分类存储：按主题自动归档到不同文件夹
经过多次尝试，最终我选择用OpenClaw+百川2-13B搭建了一套完整的自动化流水线。这个方案最吸引我的是它的端到端闭环能力——从触发任务到最终产出，全程无需人工干预。
2. 技术选型与工具准备
2.1 为什么选择OpenClaw+百川的组合
在搭建这套系统前，我评估过多种方案。单纯用Python脚本虽然灵活，但需要自己处理浏览器自动化、模型调用、文件操作等各个环节的兼容性问题。而OpenClaw提供了几个关键优势：
- 原生浏览器控制能力：不需要额外配置Selenium或Playwright
- 内置大模型对接：配置文件即可接入各类模型服务
- 任务编排可视化：通过Web界面查看执行状态和结果
- 消息通道集成：支持飞书等IM工具触发任务
百川2-13B-4bits量化版则是我测试过的性价比最高的中文模型：
- 在消费级GPU（我的RTX 3090）上即可运行
- 对技术类内容的理解和摘要能力出色
- 支持16k上下文，适合处理长文章
- 量化后性能损失极小（实测摘要质量与原模型相当）
2.2 环境准备清单
实际部署前需要准备以下组件：
- OpenClaw核心框架（通过npm安装）
- 百川2-13B模型服务（本地部署或使用星图平台镜像）
- 飞书开发者账号（用于创建机器人）
- 存储目录结构（提前规划好分类规则）
我的具体环境配置如下：
# OpenClaw安装（汉化版） sudo npm install -g @qingchencloud/openclaw-zh@latest # 验证安装 openclaw --version # 输出 v0.9.13. 核心流水线搭建过程
3.1 第一步：配置模型接入
OpenClaw支持通过配置文件接入本地模型服务。我的百川2-13B部署在另一台服务器的18760端口，配置方式如下：
// ~/.openclaw/openclaw.json { "models": { "providers": { "baichuan-local": { "baseUrl": "http://192.168.1.100:18760/v1", "apiKey": "sk-xxxxxx", "api": "openai-completions", "models": [ { "id": "baichuan2-13b-chat", "name": "百川2-13B-4bits", "contextWindow": 16384 } ] } } } }配置完成后需要重启网关服务：
openclaw gateway restart验证模型是否可用：
openclaw models list # 应看到baichuan2-13b-chat在可用模型列表中3.2 第二步：创建内容处理Skill
OpenClaw的Skill机制允许我们封装特定功能。我开发了一个content-pipeline的Skill，主要包含三个模块：
- 网页抓取模块：基于OpenClaw内置浏览器控制能力
async function scrapeWebpage(url) { const page = await clawd.browser.newPage(); await page.goto(url); const content = await page.evaluate(() => { return document.querySelector('article').innerText; }); await page.close(); return content; }- 摘要生成模块：调用百川模型
async function generateSummary(text) { const prompt = `请用中文为以下技术文章生成结构化摘要： 1. 核心问题（20字以内） 2. 关键技术（40字以内） 3. 主要结论（30字以内） 文章内容：${text}`; const res = await clawd.llm.complete({ model: 'baichuan2-13b-chat', messages: [{role: 'user', content: prompt}] }); return res.choices[0].message.content; }- 存储模块：按分类保存Markdown
function saveToMarkdown(content, category) { const dir = `~/Documents/内容库/${category}`; if (!fs.existsSync(dir)) fs.mkdirSync(dir, {recursive: true}); const filename = `${Date.now()}.md`; fs.writeFileSync(`${dir}/${filename}`, content); return filename; }3.3 第三步：配置飞书机器人触发
为了让非技术同事也能使用这个流水线，我将其对接到了飞书机器人：
- 在飞书开放平台创建应用，获取App ID和App Secret
- 安装OpenClaw飞书插件：
openclaw plugins install @m1heng-clawd/feishu- 修改配置文件启用飞书通道：
{ "channels": { "feishu": { "enabled": true, "appId": "cli_xxxxxx", "appSecret": "xxxxxx", "connectionMode": "websocket" } } }现在，团队成员只需要在飞书群里@机器人并发送：
处理URL：https://example.com/tech-article 分类：大模型量化就能自动触发整个处理流程。
4. 实际效果与优化经验
4.1 典型执行流程示例
当我发送测试URL后，系统会执行以下步骤：
- 抓取目标网页正文内容（自动跳过广告和导航栏）
- 调用百川模型生成三部分摘要
- 将摘要转换为标准Markdown格式（自动添加标题和元信息）
- 按分类存储到指定目录
- 在飞书返回处理结果和文件路径
整个流程平均耗时约2分钟（取决于文章长度和模型负载），比手动处理效率提升10倍以上。
4.2 遇到的典型问题与解决方案
问题1：网页结构差异导致抓取失败某些技术博客的正文不在<article>标签内。解决方案是增强选择器逻辑：
const selectors = ['article', '.post-content', '#content']; for (const sel of selectors) { const el = document.querySelector(sel); if (el) return el.innerText; }问题2：模型生成摘要格式不稳定有时百川会返回非结构化文本。通过优化prompt解决：
请严格按以下格式生成摘要： 【核心问题】... 【关键技术】... 【主要结论】...问题3：中文路径乱码在Windows上遇到中文目录乱码问题。需要在存储模块中添加编码声明：
fs.writeFileSync(path, content, {encoding: 'utf-8'});5. 扩展应用与个人实践建议
这套流水线经过简单改造后，我已经将其用于多个场景：
- 竞品技术分析：自动抓取并对比不同厂商的解决方案
- 日报生成：汇总多个信息源的关键更新
- 知识库维护：自动归档到Obsidian等笔记工具
对于想要尝试类似方案的开发者，我的建议是：
- 从小场景开始验证，比如先实现单个网页到Markdown的转换
- 逐步添加组件，每步都进行充分测试
- 为模型调用添加重试机制（网络波动时很常见）
- 做好内容审核，避免抓取到不合适的内容
最让我惊喜的是，OpenClaw的浏览器控制能力比预想的更稳定。即使页面包含复杂JavaScript也能正确渲染，这比传统爬虫方案可靠得多。现在我的内容处理时间从小时级降到了分钟级，终于可以把精力集中在真正重要的创作上了。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。