当前位置：首页 > news >正文

大众点评爬虫终极教程：如何轻松破解动态字体加密，获取全站店铺数据

news 2026/7/15 11:37:34

大众点评爬虫终极教程：如何轻松破解动态字体加密，获取全站店铺数据

【免费下载链接】dianping_spider大众点评爬虫（全站可爬，解决动态字体加密，非OCR）。持续更新项目地址: https://gitcode.com/gh_mirrors/di/dianping_spider

还在为获取大众点评的店铺信息而烦恼吗？想象一下，你只需要15分钟就能搭建一个稳定可靠的数据采集系统，自动获取店铺评分、用户评论、营业时间等宝贵信息。今天我将为你介绍一个强大的开源项目——大众点评爬虫，它能帮你轻松破解动态字体加密，实现全站数据智能采集。无论你是数据分析师、市场研究员还是开发者，这个工具都能为你的项目提供宝贵的数据支持。

🎯 你的数据采集痛点，这里有完美解决方案

你是否遇到过这些问题？想要分析某个地区的餐饮市场，却苦于无法批量获取店铺信息；需要研究用户评价趋势，但手动复制粘贴效率太低；尝试编写爬虫却总是被反爬机制拦截。大众点评作为国内领先的本地生活平台，拥有海量的店铺数据和用户评价，但它的反爬系统也让许多开发者望而却步。

传统方法的三大困境

动态字体加密难以破解：大众点评采用动态字体加密技术，普通爬虫无法正确解析页面文字
反爬机制严格：频繁请求会导致IP被封，Cookie失效
数据结构复杂：店铺信息分散在多个接口，数据整合困难

🚀 三步快速启动：从零到数据采集高手

第一步：环境配置与项目获取

首先，获取项目代码并安装依赖：

git clone https://gitcode.com/gh_mirrors/di/dianping_spider cd dianping_spider pip install -r requirements.txt

这个项目基于Python 3开发，支持Windows、Linux和MacOS系统，依赖包包括lxml、requests、beautifulsoup4等常用库。

第二步：智能配置系统

打开config.ini文件，这是整个爬虫的核心配置文件。对于新手，我们建议从简单配置开始：

[config] use_cookie_pool = False save_mode = mongo requests_times = 1,2;3,5;10,50 [detail] keyword = 自助餐 location_id = 8 need_pages = 1

第三步：一键运行与验证

完成配置后，运行主程序：

python main.py

如果一切正常，你将在控制台看到爬取进度，数据会自动保存到MongoDB数据库中。

🔧 核心技术：如何破解动态字体加密难题

动态字体加密的破解原理

大众点评采用动态字体文件来加密页面文字，每次访问都会生成不同的字体映射关系。本项目通过分析字体文件的woff格式，实时解析字形映射，成功破解了这一难题。

核心代码位于function/get_encryption_requests.py，它实现了以下关键功能：

字体文件下载与解析：自动下载动态生成的woff字体文件
字形映射分析：解析字体中的字形与字符对应关系
实时替换机制：在获取页面数据后立即进行文字替换

三级防护策略确保稳定运行

项目的requests_times参数采用智能三级防护策略：

轻度防护：每1次请求休息2秒
中度防护：每3次请求休息5秒
重度防护：每10次请求休息50秒

这种策略有效防止IP被封，同时保证采集效率。

📊 三大数据采集模块，满足不同需求

1. 店铺搜索模块：快速获取基础信息

搜索模块负责获取大众点评的搜索结果，包括店铺名称、评分、人均消费等基本信息。通过调整keyword和location_id参数，你可以搜索不同地区和类型的店铺。

2. 店铺详情模块：深度挖掘店铺档案

当需要获取更详细的店铺信息时，详情模块就派上用场了。它可以采集店铺地址、联系电话、营业时间、推荐菜品等深度数据，为你提供完整的店铺档案。

3. 用户评论模块：获取真实用户反馈

这是最核心的数据采集模块，能够获取真实的用户评价、评分分布和评论内容。这些数据对于市场分析和用户行为研究至关重要。

🎨 实际应用场景：自助餐店铺数据分析案例

场景需求分析

假设我们要采集大连地区的自助餐店铺数据，需要：

店铺基础信息（名称、评分、人均消费）
地址和营业时间
精选用户评论
推荐菜品信息

完整配置方案

config.ini配置：

[config] use_cookie_pool = False save_mode = mongo requests_times = 1,2;3,5;10,50 [detail] keyword = 自助餐 location_id = 8 need_pages = 5

require.ini配置：

[shop_phone] need = False need_detail = False [shop_review] need = True more_detail = True need_pages = 3

运行结果展示

运行程序后，你将获得结构化的数据，便于进一步分析：

⚙️ 高级配置技巧：提升采集效率与成功率

Cookie池智能管理

当需要大规模采集时，建议开启Cookie池功能。在cookies.txt中添加多个Cookie，程序会自动轮换使用，大幅提升采集成功率。

代理IP配置指南

对于需要更高匿名的场景，可以配置代理IP：

[proxy] use_proxy = True http_link = 你的代理服务链接

定制化搜索模式

除了常规搜索，项目还支持多种定制化搜索模式：

# 只需要详情信息 python main.py --normal 0 --detail 1 --review 0 --shop_id k30YbaScPKFS0hfP --need_more False # 只需要评论信息 python main.py --normal 0 --detail 0 --review 1 --shop_id k30YbaScPKFS0hfP --need_more False