当前位置：首页 > news >正文

Python旅游数据分析系统开发实战：从爬取到可视化

news 2026/7/31 23:10:01

1. 项目概述：广东旅游数据分析系统

这个Python项目是我去年为某旅行社开发的区域性旅游数据分析工具，主要针对广东省内旅游市场。系统通过爬取公开旅游数据、整合企业自有数据，实现了游客行为分析、热门景点排名、旅游路线优化等核心功能。整套代码采用Python 3.8+开发，包含完整的数据采集、清洗、分析和可视化模块。

提示：项目源码已通过企业授权脱敏处理，文中展示的代码片段均为功能演示版本

2. 核心功能解析

2.1 数据采集模块设计

系统数据源主要分为三类：

政府公开数据（广东省文旅厅年度报告）
旅游平台API（携程、美团等评分数据）
企业自有数据库（订单记录、客户评价）

采集模块采用requests+BeautifulSoup组合实现网页抓取，关键代码如下：

def get_scenic_spot_data(url): headers = {'User-Agent': 'Mozilla/5.0'} try: response = requests.get(url, headers=headers, timeout=10) soup = BeautifulSoup(response.text, 'html.parser') # 提取景点名称、评分、评论数等数据 name = soup.select('.spot-name')[0].text.strip() rating = float(soup.select('.score')[0].text) comments = int(soup.select('.comment-num')[0].text[:-1]) return {'name': name, 'rating': rating, 'comments': comments} except Exception as e: print(f"数据获取失败: {str(e)}") return None

2.2 数据分析关键技术

2.2.1 游客行为分析

使用pandas进行数据透视分析，统计不同年龄段游客的景点偏好：

def analyze_visitor_behavior(df): # 年龄分段分析 age_bins = [0, 18, 30, 45, 60, 100] df['age_group'] = pd.cut(df['age'], bins=age_bins) return df.groupby(['age_group', 'scenic_spot'])['visit_count'].sum().unstack()

2.2.2 热门路线挖掘

采用NetworkX库构建旅游路线网络图，使用PageRank算法识别关键节点：

def find_popular_routes(routes_df): G = nx.DiGraph() for _, row in routes_df.iterrows(): G.add_edge(row['from'], row['to'], weight=row['count']) pr = nx.pagerank(G) return sorted(pr.items(), key=lambda x: x[1], reverse=True)[:10]

3. 系统实现细节

3.1 开发环境配置

推荐使用conda创建独立环境：

conda create -n tourism_analysis python=3.8 conda activate tourism_analysis pip install pandas numpy matplotlib seaborn requests beautifulsoup4 networkx

3.2 核心数据结构设计

景点数据采用如下结构存储：

class ScenicSpot: def __init__(self, name, location, rating, visitors): self.name = name # 景点名称 self.location = location # GPS坐标 self.rating = rating # 平均评分 self.visitors = visitors # 月访问量 self.tags = [] # 标签分类

3.3 可视化方案选型

基于广东省地图的热力图实现：

def plot_guangdong_heatmap(data): fig = px.density_mapbox(data, lat='lat', lon='lng', z='visitors', radius=20, center=dict(lat=23.5, lon=113.5), zoom=6, mapbox_style="stamen-terrain") fig.update_layout(title='广东省旅游热点分布') fig.show()

4. 典型问题与解决方案

4.1 数据采集稳定性问题

问题现象：旅游平台反爬机制导致采集中断

解决方案：

使用代理IP轮询（需企业授权）
设置随机延迟（1-3秒）
模拟浏览器行为（selenium备用方案）

def safe_crawler(url): time.sleep(random.uniform(1, 3)) proxies = {'http': get_random_proxy()} return requests.get(url, proxies=proxies)

4.2 数据分析性能优化

问题现象：百万级订单数据处理缓慢

优化方案：

使用pandas的category类型处理文本数据
对时间序列数据采用period索引
内存映射处理超大CSV文件

df['spot_type'] = df['spot_type'].astype('category') # 减少内存占用70%

5. 项目部署与调试

5.1 日志系统配置

采用logging模块实现多级日志记录：

import logging logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler('tourism_analysis.log'), logging.StreamHandler() ] )

5.2 单元测试方案

对核心算法编写pytest测试用例：

def test_route_analysis(): test_data = pd.DataFrame({ 'from': ['广州', '广州', '深圳'], 'to': ['深圳', '珠海', '广州'], 'count': [100, 80, 120] }) result = find_popular_routes(test_data) assert result[0][0] == '广州' # 验证广州是否为最热门出发地

我在实际开发中发现，旅游数据的季节性特征非常明显。建议在系统中增加节假日效应分析模块，通过对比工作日/节假日的游客分布差异，能为景区运营提供更精准的决策支持。例如使用Prophet时间序列预测模型：

from fbprophet import Prophet def predict_holiday_visitors(df): m = Prophet(seasonality_mode='multiplicative') m.fit(df.rename(columns={'date':'ds', 'visitors':'y'})) future = m.make_future_dataframe(periods=30) return m.predict(future)

查看全文

http://www.jsqmd.com/news/1303172/