C语言编写轻量爬虫工具
当我们要使用C语言编写一个定制化轻量爬虫工具，得需要结合网络请求、HTML解析和数据处理等步骤。由于是轻量级，正常情况下我们将使用C语言标准库以及一些第三方库来简化开发。这样省时省力，生态丰富可以帮助大家少走很多弯路。具体细节可以看下面具体细节。
下面是一个分步指南和示例代码：
核心组件
1、网络请求：使用libcurl库获取网页内容
2、HTML解析：使用libxml2解析HTML
3、数据存储：将结果保存到文件或内存
4、定制规则：通过回调函数实现定制逻辑
完整示例代码
代码语言：javascript
AI代码解释
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <curl/curl.h> #include <libxml/HTMLparser.h> #include <libxml/xpath.h> // 存储HTTP响应数据 struct MemoryStruct { char *memory; size_t size; }; // libcurl回调函数 static size_t WriteMemoryCallback(void *contents, size_t size, size_t nmemb, void *userp) { size_t realsize = size * nmemb; struct MemoryStruct *mem = (struct MemoryStruct *)userp; char *ptr = realloc(mem->memory, mem->size + realsize + 1); if(!ptr) { fprintf(stderr, "内存分配失败\n"); return 0; } mem->memory = ptr; memcpy(&(mem->memory[mem->size]), contents, realsize); mem->size += realsize; mem->memory[mem->size] = 0; return realsize; } // 提取链接的回调函数类型定义 typedef void (*LinkHandler)(const char* url, void* userdata); // 核心爬取函数 void crawl_page(const char* url, LinkHandler handler, void* userdata) { CURL *curl; CURLcode res; struct MemoryStruct chunk = {0}; curl_global_init(CURL_GLOBAL_DEFAULT); curl = curl_easy_init(); if(curl) { // 设置cURL选项 curl_easy_setopt(curl, CURLOPT_URL, url); curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteMemoryCallback); curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&chunk); curl_easy_setopt(curl, CURLOPT_USERAGENT, "Mozilla/5.0 (compatible; MyCrawler/1.0)"); curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L); curl_easy_setopt(curl, CURLOPT_TIMEOUT, 10L); // 执行请求 res = curl_easy_perform(curl); if(res != CURLE_OK) { fprintf(stderr, "请求失败: %s\n", curl_easy_strerror(res)); } else { // 解析HTML文档 htmlDocPtr doc = htmlReadDoc((xmlChar*)chunk.memory, url, NULL, HTML_PARSE_RECOVER | HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING); if (doc) { xmlXPathContextPtr context = xmlXPathNewContext(doc); if (context) { // 查找所有<a>标签 xmlXPathObjectPtr result = xmlXPathEvalExpression((xmlChar*)"//a/@href", context); if (result) { xmlNodeSetPtr nodeset = result->nodesetval; for (int i = 0; i < nodeset->nodeNr; i++) { xmlChar *href = xmlNodeListGetString(doc, nodeset->nodeTab[i]->children, 1); if (handler && href) { handler((const char*)href, userdata); } xmlFree(href); } xmlXPathFreeObject(result); } xmlXPathFreeContext(context); } xmlFreeDoc(doc); } } curl_easy_cleanup(curl); } free(chunk.memory); curl_global_cleanup(); } // 示例链接处理函数 void print_links(const char* url, void* userdata) { FILE *output = (FILE*)userdata; fprintf(output, "发现链接: %s\n", url); } // 主函数 int main(int argc, char *argv[]) { if (argc != 3) { fprintf(stderr, "用法: %s <目标URL> <输出文件>\n", argv[0]); return 1; } FILE *output = fopen(argv[2], "w"); if (!output) { perror("无法打开输出文件"); return 1; } fprintf(output, "爬取结果: %s\n", argv[1]); crawl_page(argv[1], print_links, output); fclose(output); printf("爬取完成！结果已保存至 %s\n", argv[2]); return 0; }编译与运行
1、安装依赖库：
代码语言：javascript
AI代码解释
# Ubuntu/Debian sudo apt-get install libcurl4-openssl-dev libxml2-dev2、编译程序：
代码语言：javascript
AI代码解释
gcc -o mycrawler mycrawler.c -lcurl -lxml23、运行示例：
代码语言：javascript
AI代码解释
./mycrawler https://example.com output.txt定制化扩展方向
1、过滤特定链接：
代码语言：javascript
AI代码解释
void filter_links(const char* url, void* userdata) { if (strstr(url, ".pdf")) { printf("跳过PDF文件: %s\n", url); return; } // 其他处理... }2、限制爬取深度：
代码语言：javascript
AI代码解释
// 添加depth参数到crawl_page函数 void crawl_page(const char* url, LinkHandler handler, void* userdata, int depth) { if (depth <= 0) return; // ...获取页面内容... // 递归爬取子链接 crawl_page(new_url, handler, userdata, depth-1); }3、数据提取：
代码语言：javascript
AI代码解释
// 修改XPath表达式提取其他数据 xmlXPathEvalExpression((xmlChar*)"//h1/text()", context);4、多线程支持：
- 使用pthread库创建线程池
- 实现线程安全的队列管理URL