避坑指南：用Jsoup解析携程旅游网时，如何正确提取链接、图片和CSS？
Jsoup实战：精准解析旅游网站数据的避坑指南
1. 为什么选择Jsoup处理旅游网站数据？
旅游网站通常包含大量动态生成的HTML内容，页面结构复杂且嵌套层级深。以携程为例，一个酒店列表页可能包含数百个酒店卡片，每个卡片又包含图片、链接、价格、评分等多种元素。传统正则表达式难以应对这种场景，而Jsoup凭借其CSS选择器语法和DOM操作能力，成为处理这类问题的利器。
我在去年参与的一个酒店比价项目中，最初尝试用正则表达式提取携程数据，结果代码维护成本极高。后来切换到Jsoup后，解析代码量减少了70%，而稳定性提升了数倍。下面这段代码展示了最基本的页面加载方式：
// 从本地文件加载HTML（适合开发阶段调试） Document doc = Jsoup.parse(new File("ctrip.html"), "UTF-8"); // 从URL直接加载（生产环境使用） Document doc = Jsoup.connect("http://hotels.ctrip.com").get();提示：开发阶段建议先将页面保存到本地文件进行解析测试，可以避免频繁请求网站导致IP被封。
2. 核心元素提取技巧
2.1 链接提取的陷阱与解决方案
旅游网站中的链接通常有三种形式：
- 绝对路径（如
http://hotels.ctrip.com/hotel/beijing） - 根相对路径（如
/hotel/beijing） - 相对路径（如
../hotel/beijing）
常见错误是直接使用select("a[href]")而不处理路径问题，导致后续请求失败。正确的做法是：
Elements links = doc.select("a[href]"); for (Element link : links) { String absoluteUrl = link.attr("abs:href"); // 关键点 System.out.println("完整URL: " + absoluteUrl); }下表对比了三种路径处理方式：
| 方法 | 示例输入 | 输出结果 | 适用场景 |
|---|---|---|---|
| attr("href") | /hotel/beijing | /hotel/beijing | 需要原始路径时 |
| attr("abs:href") | /hotel/beijing | http://hotels.ctrip.com/hotel/beijing | 需要发起后续请求时 |
| absUrl("href") | ../hotel/beijing | http://hotels.ctrip.com/hotel/beijing | 处理相对路径时 |
2.2 图片资源的正确抓取方式
旅游网站尤其重视图片展示，但图片URL往往有以下特点：
- 使用CDN加速
- 动态生成缩略图
- 延迟加载（lazy load）
典型错误案例：
// 这样会漏掉延迟加载的图片 Elements imgs = doc.select("img[src]");改进方案：
// 同时匹配src和data-src属性 Elements imgs = doc.select("img[src], img[data-src]"); for (Element img : imgs) { String imgUrl = img.hasAttr("data-src") ? img.attr("abs:data-src") : img.attr("abs:src"); System.out.println("图片URL: " + imgUrl); }3. 高级选择器技巧
3.1 处理动态生成的CSS和JS
现代旅游网站大量使用动态加载的CSS和JS资源，这些资源通常通过link标签引入：
Elements cssLinks = doc.select("link[href][rel=stylesheet]"); Elements jsScripts = doc.select("script[src]"); // 提取并转换为绝对路径 List<String> resources = new ArrayList<>(); cssLinks.forEach(link -> resources.add("CSS: " + link.attr("abs:href"))); jsScripts.forEach(script -> resources.add("JS: " + script.attr("abs:src")));3.2 精准定位特定区域的内容
以携程酒店列表页为例，我们需要定位到每个酒店卡片，然后提取其中的详细信息：
// 定位酒店卡片容器 Elements hotelCards = doc.select(".hotel_item"); hotelCards.forEach(card -> { String name = card.select(".hotel_name a").text(); String price = card.select(".price .num").text(); String score = card.select(".hotel_value").text(); System.out.printf("酒店: %s, 价格: %s, 评分: %s%n", name, price, score); });4. 性能优化与反爬应对
4.1 选择器性能对比
不同选择器的执行效率差异很大，特别是在处理大型页面时：
- 低效选择器：
doc.select("div ul li a") - 高效选择器：
doc.select("div.list > ul > li > a")
注意：避免使用过于通用的选择器如
div a，这会强制Jsoup遍历整个DOM树。
4.2 模拟浏览器行为
旅游网站通常会检测爬虫行为，我们可以通过设置请求头来模拟浏览器：
Connection conn = Jsoup.connect("http://hotels.ctrip.com"); conn.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"); conn.header("Accept-Language", "zh-CN,zh;q=0.9"); Document doc = conn.get();4.3 异常处理最佳实践
稳定的爬虫需要完善的异常处理机制：
try { Document doc = Jsoup.connect(url) .timeout(10000) .get(); } catch (IOException e) { // 记录失败URL以便重试 logger.error("请求失败: " + url, e); // 实现指数退避重试机制 Thread.sleep((long) Math.pow(2, retryCount) * 1000); }在实际项目中，我建议将这些技巧封装成工具类。比如创建一个WebScraper类，内部实现自动重试、请求间隔控制等功能，而不是在每个爬虫中重复实现这些逻辑。