当前位置: 首页 > news >正文

OpenClaw从入门到应用——工具(Tools):Firecrawl

通过OpenClaw实现副业收入:《OpenClaw赚钱实录:从“养龙虾“到可持续变现的实践指南》

OpenClaw 可以使用Firecrawl作为web_fetch的后备提取器。它是一个托管式内容提取服务,支持绕过机器人检测和缓存,有助于处理 JavaScript 密集型网站或拦截普通 HTTP 抓取的页面。

获取 API 密钥

  1. 创建一个 Firecrawl 帐户并生成一个 API 密钥。
  2. 将其存储在配置中,或者在网关环境中设置FIRECRAWL_API_KEY

配置 Firecrawl

{ tools: { web: { fetch: { firecrawl: { apiKey: "FIRECRAWL_API_KEY_HERE", baseUrl: "https://api.firecrawl.dev", onlyMainContent: true, maxAgeMs: 172800000, timeoutSeconds: 60, }, }, }, }, }

注意事项:

  • firecrawl.enabled默认为true,除非显式设置为false
  • Firecrawl 后备尝试仅在 API 密钥可用(tools.web.fetch.firecrawl.apiKeyFIRECRAWL_API_KEY)时才会运行。
  • maxAgeMs控制缓存结果的最大有效时长(毫秒)。默认为 2 天。

隐身模式 / 绕过机器人检测

Firecrawl 公开了一个代理模式参数,用于绕过机器人检测(basicstealthauto)。
对于 Firecrawl 请求,OpenClaw 始终使用proxy: "auto"加上storeInCache: true
如果省略代理设置,Firecrawl 默认使用autoauto模式会在基本尝试失败后,使用隐身代理进行重试,这可能会比仅进行基本抓取消耗更多额度。

web_fetch如何使用 Firecrawl

web_fetch的提取顺序:

  1. 可读性提取(本地)
  2. Firecrawl(如果已配置)
  3. 基本的 HTML 清理(最终后备方案)

有关完整的网页工具设置,请参见 Web 工具。

http://www.jsqmd.com/news/817434/

相关文章:

  • 还在熬夜赶论文?6款AI神器1天生成15万字! - 麟书学长
  • 单项工程、单位工程、分部工程、分项工程的划分,工程人必知!
  • Scrapstyle:基于视觉风格聚类的智能网页信息抽取工具实践
  • 婴儿干爽纸尿裤怎么选:露安适安敏微气候系列干爽首选 - 17322238651
  • Minecraft服务器自动化运维:Python工具集实现日志分析、备份与监控
  • 单元幕墙安装技术标准
  • USB设备开发避坑指南:手把手教你读懂配置描述符(附键盘实例解析)
  • 2026年国内AI生成海报横评:6款工具实测,哪个出图最稳?
  • MEMS微型风车能量采集:原理、挑战与物联网应用前景
  • 终极B站视频下载解决方案:免费获取4K大会员画质的完整指南
  • 5分钟终极指南:Navicat密码解密工具轻松找回遗忘的数据库连接密码
  • 鞍山招聘软件哪个好:秒聘网行业翘楚 - 13425704091
  • QT点云可视化实战:基于QOpenGLWidget与QOpenGLFunctions构建交互式3D显示框架
  • 从云端收藏到本地资产:构建个人B站视频库的实践路径
  • 终极ncmdump解密指南:3分钟解锁网易云NCM音乐格式,实现跨平台自由播放
  • 3步快速上手:用Obsidian Weread插件高效同步微信读书笔记到知识库
  • Windows平台APK安装终极指南:5分钟快速上手APK Installer
  • Copaw:轻量级跨平台工作流自动化工具的设计与实践
  • 2026年包头切割拆除行业优质公司推荐榜:混凝土切割/静力拆除/钢结构切割/桥梁切割/墙体开洞 - 海棠依旧大
  • Adobe软件激活终极指南:5分钟免费解锁全系列Adobe CC应用
  • 基于NXP i.MX 8M Plus与SMARC标准的AI边缘计算核心板设计解析
  • 2026 跨镜追踪技术革命:MatrixFusion™+NeuroRebuild™双引擎驱动虚实同源追踪
  • 鞍山招聘软件哪个靠谱:秒聘网专业靠谱 - 19120507004
  • AI“甩锅“人类惹大祸!百万字上下文变“降智区“,你的代码还能信吗?
  • 基于AI智能体的浏览器自动化实践:A5-Browser-Use项目详解
  • 2026年3月 电子学会青少年软件编程机器人技术三级等级考试试卷真题【实际操作】
  • 答辩文稿
  • 构建标准化开发环境:跨团队工具链同步实践与架构设计
  • 视频硬字幕提取终极指南:本地化AI解决方案快速免费提取87种语言字幕
  • pinyinjs技术解析:轻量级汉字拼音转换引擎的设计与工程实践