别再用Excel记双色球了！用Python requests+BeautifulSoup自动抓取并存入MySQL数据库（附完整代码）

从Excel到数据库：用Python构建双色球数据分析系统

每次双色球开奖后，你是否还在手动更新Excel表格？这种传统方式不仅效率低下，还容易出错。本文将带你用Python打造一个完整的双色球数据采集与分析系统，从网页抓取到数据库存储，再到简单的预测模型实现，让你彻底告别手工记录时代。

1. 系统架构设计

一个完整的双色球数据分析系统应该包含以下几个核心模块：

• 数据采集层：负责从官方网站抓取最新开奖数据
• 数据存储层：将采集到的数据持久化存储到MySQL数据库
• 数据处理层：对历史数据进行分析和预测
• 应用展示层：提供数据查询和可视化功能

# 系统架构示意图 class DoubleColorBallSystem: def __init__(self): self.crawler = DataCrawler() self.database = MySQLStorage() self.analyzer = DataAnalyzer() self.visualizer = DataVisualizer()

2. 数据采集实现

使用requests和BeautifulSoup构建爬虫是Python开发者的常见选择。但我们需要考虑几个关键点：

1. 反爬策略：设置合理的请求头和时间间隔
2. 数据完整性：确保抓取所有历史期数而不仅是最近30期
3. 异常处理：网络波动或页面结构变化时的容错机制

import requests from bs4 import BeautifulSoup import time import random class DataCrawler: def __init__(self): self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } def get_all_history(self): base_url = "http://kaijiang.500.com/ssq.shtml" try: response = requests.get(base_url, headers=self.headers) soup = BeautifulSoup(response.text, 'html.parser') page_links = soup.select("div.iSelectList a") results = [] for link in page_links: time.sleep(random.uniform(0.5, 1.5)) # 随机延迟 issue_data = self.parse_single_page(link['href']) results.append(issue_data) return results except Exception as e: print(f"抓取失败: {str(e)}") return []

提示：在实际项目中，建议将爬虫设置为定时任务，每周自动运行2-3次，而不是每次手动执行。

3. MySQL数据库设计

相比CSV文件，MySQL提供了更强大的数据管理能力。我们需要设计合理的表结构：

import pymysql from datetime import datetime class MySQLStorage: def __init__(self): self.connection = pymysql.connect( host='localhost', user='your_username', password='your_password', database='double_color_ball', charset='utf8mb4' ) def create_table(self): sql = """ CREATE TABLE IF NOT EXISTS lottery_results ( issue_id VARCHAR(20) PRIMARY KEY, red1 TINYINT NOT NULL, red2 TINYINT NOT NULL, red3 TINYINT NOT NULL, red4 TINYINT NOT NULL, red5 TINYINT NOT NULL, red6 TINYINT NOT NULL, blue TINYINT NOT NULL, open_date DATE, create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) """ with self.connection.cursor() as cursor: cursor.execute(sql) self.connection.commit()

4. 增量更新策略

全量覆盖的方式既不高效也不安全。我们应该实现增量更新逻辑：

1. 查询数据库中最新期号
2. 只抓取比该期号更新的数据
3. 批量插入新数据

def update_data_incrementally(self): # 获取数据库中最新的期号 latest_issue = self.get_latest_issue_from_db() # 获取网页上所有期号 all_issues = self.get_all_issues_from_web() # 筛选需要更新的期号 new_issues = [issue for issue in all_issues if issue > latest_issue] if new_issues: print(f"发现{len(new_issues)}期新数据需要更新") self.batch_insert_data(new_issues) else: print("没有发现新数据")

5. 数据分析与预测

虽然彩票预测本质上具有随机性，但我们可以通过数据分析发现一些有趣的模式：

• 频率分析：统计每个号码出现的频率
• 冷热分析：识别近期热门号码和冷门号码
• 区间分布：分析号码在不同区间的分布情况

import pandas as pd from collections import Counter class DataAnalyzer: def __init__(self, db_conn): self.conn = db_conn def get_frequency_analysis(self): query = """ SELECT red1, red2, red3, red4, red5, red6, blue FROM lottery_results """ df = pd.read_sql(query, self.conn) # 统计红球频率 red_balls = df[['red1','red2','red3','red4','red5','red6']].values.flatten() red_counter = Counter(red_balls) # 统计蓝球频率 blue_counter = Counter(df['blue']) return { 'red': red_counter.most_common(), 'blue': blue_counter.most_common() }

6. 简单的预测模型实现

虽然不能保证预测准确性，但我们可以尝试几种常见方法：

1. 随机森林预测：基于历史数据训练模型
2. LSTM时间序列：考虑号码的时间序列特征
3. 概率模型：基于频率分析的加权随机

from sklearn.ensemble import RandomForestClassifier import numpy as np class Predictor: def __init__(self, data): self.data = data def train_random_forest(self): # 准备特征和标签 X = self.data.iloc[:-1, :] # 使用前n-1期作为特征 y = self.data.iloc[1:, :] # 后n-1期作为标签 models = {} for i in range(7): # 6红球+1蓝球 model = RandomForestClassifier(n_estimators=100) model.fit(X, y.iloc[:, i]) models[f'ball_{i+1}'] = model return models def predict_next(self, models, last_issue): prediction = [] for i in range(7): pred = models[f'ball_{i+1}'].predict([last_issue]) prediction.append(pred[0]) return prediction

7. 系统部署与优化

将整个系统部署到生产环境需要考虑：

• 定时任务：使用APScheduler或Celery实现自动抓取
• 日志监控：记录系统运行状态和异常情况
• 性能优化：数据库索引、查询优化等
• 数据备份：定期备份重要数据

from apscheduler.schedulers.blocking import BlockingScheduler def job(): try: crawler = DataCrawler() storage = MySQLStorage() new_data = crawler.get_all_history() storage.batch_insert(new_data) print(f"{datetime.now()} - 数据更新成功") except Exception as e: print(f"{datetime.now()} - 任务执行失败: {str(e)}") scheduler = BlockingScheduler() scheduler.add_job(job, 'cron', day_of_week='tue,thu,sun', hour=22) scheduler.start()

8. 实际应用中的注意事项

在开发和使用这类系统时，有几个关键点需要注意：

1. 法律合规：确保爬虫行为不违反网站的使用条款
2. 数据安全：妥善保管数据库凭证
3. 资源占用：避免频繁请求给服务器造成负担
4. 预测理性：明白彩票的随机本质，不要过度依赖预测结果

注意：本项目仅供技术学习交流，请勿用于实际购彩决策。彩票有风险，投资需谨慎。

开发过程中，我发现最耗时的部分不是代码编写，而是调试各种边界条件。比如处理历史数据中的特殊期号格式，或者应对网站偶尔返回的异常页面结构。这些经验让我深刻体会到，一个健壮的系统需要处理各种意料之外的情况。