DeepSeek总结的DuckDB爬虫（crawler）扩展

DuckDB爬虫（crawler）扩展

📊 下载与收录

• 周下载量: 383
• GitHub星标: 4
• 扩展仓库: GitHub
• 社区扩展索引: DuckDB社区扩展
• 扩展描述(YAML): 支持HTML提取和MERGE操作的SQL原生网页爬虫

维护者: onnimonni

📦 安装与加载

INSTALL crawlerFROMcommunity;LOADcrawler;

💡 快速示例

基础用法

SELECTurl,jq(html.document,'h1').textastitleFROMcrawl(['https://example.com']);

使用read_html（类似Google Sheets的=IMPORTHTML）

-- 提取表格SELECT*FROMread_html('https://en.wikipedia.org/wiki/...','table.wikitable',1);-- 提取JS变量SELECT*FROMread_html('https://example.com/page','js=jobs');

数据提取示例

SELECTurl,jq(html.document,'.price','data-amount')asprice,html.readability.titleasarticle_titleFROMcrawl(['https://example.com/products']);

使用MERGE进行智能合并

CRAWLINGMERGEINTOpagesUSINGcrawl(['https://example.com'])ASsrcON(src.url=pages.url)WHENMATCHEDTHENUPDATEBYNAMEWHENNOTMATCHEDTHENINSERTBYNAME;

✨ 核心特性

• crawl()表函数: 支持自动速率限制和robots.txt合规性
• crawl_url(): 支持LATERAL连接
• sitemap(): 解析 XML 网站地图
• read_html(): 类似 Google Sheets 的IMPORTHTML，支持提取表格、列表、JS变量
• jq()和htmlpath(): 基于CSS选择器的数据提取函数
• html.readability: 文章内容提取
• html.schema: 解析 JSON-LD/微数据
• CRAWLING MERGE INTO语法: 支持"存在则更新，不存在则插入"的智能写入

🛠️ 新增函数

⚙️ 新增配置项

📚 完整文档

请访问：https://github.com/midwork-finds-jobs/duckdb-crawler