当前位置：首页 > news >正文

大众点评数据采集实战：破解动态字体加密的完整解决方案

news 2026/7/16 14:23:08

大众点评数据采集实战：破解动态字体加密的完整解决方案

【免费下载链接】dianping_spider大众点评爬虫（全站可爬，解决动态字体加密，非OCR）。持续更新项目地址: https://gitcode.com/gh_mirrors/di/dianping_spider

还在为大众点评的复杂反爬机制头疼吗？想要获取海量商家数据却总是被动态字体加密、Cookie验证和IP限制挡在门外？这个开源的大众点评爬虫项目为你提供了一套完整的解决方案，支持全站数据采集，从搜索页到详情页再到评论页，一站式搞定所有数据需求。

痛点分析：为什么大众点评数据采集如此困难？

大众点评作为本地生活服务的头部平台，其反爬机制堪称业界标杆。传统的爬虫方法在这里几乎寸步难行，主要面临三大挑战：

动态字体加密技术：大众点评使用动态生成的字体文件来加密关键数据，如价格、评分等。每次请求返回的字体映射关系都不同，传统的OCR识别方法不仅效率低下，准确率也难以保证。

Cookie与账号风控：平台对登录状态的Cookie进行严格监控，频繁请求容易触发账号封禁。单个Cookie的有效期有限，需要不断轮换和维护。

IP频率限制：大众点评对同一IP的请求频率有严格限制，短时间内过多请求会导致IP被临时封禁，影响数据采集的连续性。

解决方案：模块化设计的智能爬虫框架

这个开源项目采用模块化设计，将复杂的问题分解为多个可管理的组件，每个组件专注于解决特定的技术难题。

核心模块解析

动态字体破解模块：utils/get_font_map.py 是该项目的核心技术。它通过实时解析网页中的字体文件，动态生成字符映射表，将加密的文字还原为可读文本。这种方法相比OCR识别，准确率更高，速度更快。

请求管理模块：utils/requests_utils.py 负责处理所有HTTP请求，内置智能重试机制和频率控制。通过配置requests_times参数，可以实现阶梯式请求间隔控制，有效避免触发反爬机制。

Cookie池管理：utils/cookie_utils.py 实现了多Cookie轮换机制。系统可以从cookies.txt文件中读取多个有效Cookie，并根据任务类型自动选择合适的Cookie，显著降低单个账号被封的风险。

代理IP调度：支持HTTP提取和密钥模式两种代理方式，通过配置文件灵活切换。配合repeat_nub参数控制IP复用次数，在成本与效率之间找到最佳平衡点。

数据采集流程

项目的采集流程设计为三层架构，确保数据的完整性和准确性：

搜索层：function/search.py 负责获取商家列表，处理搜索结果的分页和动态加载逻辑
详情层：function/detail.py 深度解析店铺详情页，获取完整的商家档案信息
评论层：function/review.py 采集用户评论数据，支持分页和精选评论获取

实战演示：3步完成数据采集配置

第一步：环境搭建与依赖安装

首先克隆项目并安装依赖：

git clone https://gitcode.com/gh_mirrors/di/dianping_spider cd dianping_spider pip install -r requirements.txt

项目依赖包括 lxml、requests、beautifulsoup4、fontTools、pymongo 等核心库，确保字体解析和数据存储功能正常运行。

第二步：基础配置优化

编辑config.ini文件，配置核心参数：

[config] use_cookie_pool = True save_mode = mongo requests_times = 2,3;5,8;15,60 [detail] keyword = 火锅 location_id = 19 need_pages = 10

关键配置说明：

use_cookie_pool：启用Cookie池功能，提升采集稳定性
requests_times：智能阶梯式请求间隔，初始快速采集，后期自动降频
keyword和location_id：指定采集目标和地区

第三步：运行与数据验证

启动数据采集：

python main.py

系统将自动执行完整的采集流程：搜索目标商家 → 获取详情信息 → 采集评论数据。所有数据会以结构化JSON格式保存到MongoDB中。

图1：搜索结果页数据展示，包含店铺ID、名称、评分、人均价格等核心信息

数据可视化：采集成果深度解析

商家信息全景视图

采集到的商家数据包含完整的店铺档案，从基础信息到多维评分，为市场分析提供丰富的数据支持。

图2：店铺详情页数据结构，包含电话、地址、营业时间、多维度评分等完整信息

数据字段设计充分考虑了实际分析需求：

基础信息：店铺名称、地址、电话、营业时间
评分体系：口味、环境、服务三个维度的独立评分
经营数据：人均消费、评论总数、推荐菜品
位置信息：经纬度坐标，支持地理空间分析

用户评论情感分析

评论数据采集模块支持获取用户评分、评论内容、发布时间、推荐菜品等详细信息，为情感分析和口碑研究提供数据基础。

图3：用户评论数据结构，包含评论统计、用户信息、评分详情等多维度数据

评论数据的结构化存储使得后续分析更加高效：

情感分布：好评、中评、差评的数量统计
时间趋势：评论发布时间分布，识别消费高峰期
内容分析：评论文本的关键词提取和情感倾向分析

数据存储与导出

项目支持多种数据存储方式，默认使用MongoDB：

[mongo] mongo_path = mongodb://localhost:27017/ database_name = dianping_data collection_name = shop_info

图4：数据存储展示，结构化JSON格式便于后续分析和可视化处理

进阶应用：高级功能与优化策略

定制化采集任务

除了完整的采集流程，项目还支持灵活的定制化任务：

# 仅采集店铺详情 python main.py --normal 0 --detail 1 --review 0 --shop_id k30YbaScPKFS0hfP # 仅采集评论数据 python main.py --normal 0 --detail 0 --review 1 --shop_id k30YbaScPKFS0hfP # 同时采集详情和评论 python main.py --normal 0 --detail 1 --review 1 --shop_id k30YbaScPKFS0hfP

增量采集与数据更新

通过 utils/cache.py 模块，系统会自动记录已采集的URL，避免重复工作。这对于长期监控和定期更新数据特别有用。

性能优化技巧

Cookie维护策略：定期更新cookies.txt文件，保持Cookie池的活性。建议维护5-10个有效Cookie，系统会自动轮换使用。
代理IP选择：对于大规模采集任务，建议使用住宅代理IP，配合项目的智能调度机制，可以有效分散请求压力。
请求频率控制：根据采集目标调整requests_times参数。对于高价值数据，可以适当降低频率以确保稳定性；对于基础信息采集，可以在安全范围内提高效率。