SUNFLOWER MATCH LAB 自动化测试：编写Python脚本进行模型批量识别与结果验证

SUNFLOWER MATCH LAB 自动化测试：编写Python脚本进行模型批量识别与结果验证

最近在跟进一个图像识别项目，模型部署上线后，最让人头疼的就是怎么知道它一直“健康”呢？总不能天天手动上传图片去测吧。今天就来聊聊我们是怎么用Python写了个自动化测试脚本，像给模型做“定期体检”一样，确保SUNFLOWER MATCH LAB服务在生产环境里稳定可靠。

简单说，这个脚本的核心任务就是：定时、自动地拿一批我们事先知道答案的图片去“考”模型，然后自动批改试卷，算出分数（准确率），最后生成一份体检报告。一旦发现模型“成绩”下滑，立马发警报，让我们能第一时间介入处理。这套方法特别适合那些已经上线、需要持续监控的模型服务，能有效避免因为数据漂移或服务异常导致的线上问题。

1. 为什么需要自动化测试？

模型部署上线，只是万里长征第一步。线上环境复杂多变，今天表现好好的模型，明天可能因为各种原因“状态不佳”。比如，新来的数据分布和训练时不一样了，或者服务器资源波动影响了推理速度，甚至代码更新引入了意想不到的Bug。

手动测试效率低、不及时，还容易出错。我们需要的是一套能7x24小时工作的“哨兵”系统。自动化测试脚本就是这个哨兵，它能定期、客观地评估模型状态，把我们从重复的体力劳动中解放出来，更专注于分析问题和优化模型。

2. 设计我们的自动化测试方案

在动手写代码之前，我们先得把整个流程想清楚。一个好的自动化测试方案，应该包含下面几个关键部分。

2.1 核心流程梳理

整个测试过程可以概括为“准备-执行-验证-报告”四步曲：

1. 准备阶段：准备好一批测试图片，并且每张图片都要有正确的标签（也就是我们期望模型识别出的结果）。这些图片最好能覆盖模型要识别的所有类别，并且包含一些容易出错的边缘案例。
2. 执行阶段：编写脚本，自动将这些测试图片一张张或者一批批地发送给SUNFLOWER MATCH LAB的识别接口。
3. 验证阶段：脚本接收模型返回的识别结果，然后和我们事先准备好的正确标签进行比对，判断每个识别是对是错。
4. 报告与告警阶段：统计总的识别准确率，生成一份清晰易懂的测试报告（比如HTML或Markdown格式）。更重要的是，设定一个准确率阈值（比如95%），一旦低于这个阈值，就自动触发告警，通过邮件、钉钉、企业微信等方式通知相关人员。

2.2 测试数据准备

测试数据是评估的基石。我们专门维护了一个测试图片集。这个数据集有几点讲究：

• 代表性：要包含模型所有需要识别的类别。比如SUNFLOWER MATCH LAB是用来识别不同品种向日葵的，那么测试集里就应该有所有目标品种的图片。
• 多样性：同一品种的图片，要有不同角度、不同光照、不同背景的，模拟真实场景。
• 挑战性：可以故意放一些模糊的、有遮挡的、或者类别间比较相似的图片，看看模型的“抗压能力”如何。
• 标签准确：每一张图片的标签都必须人工核对，确保100%正确，这是评判模型对错的“标准答案”。

我们把这些图片和对应的标签文件（比如一个CSV文件或JSON文件）放在一个固定的目录里，方便脚本读取。

2.3 技术工具选型

实现这个方案，我们主要用到Python的几个常用库，它们就像我们工具箱里的得力助手：

• requests：负责和SUNFLOWER MATCH LAB的HTTP API进行通信，发送图片，接收识别结果。
• PIL(Pillow) 或opencv-python：用来在发送前对图片进行一些必要的预处理，比如调整大小、转换格式，或者只是简单地打开图片。
• pandas：如果测试用例很多，用这个库来管理测试用例的标签和最终的比对结果非常方便，读写CSV文件、做数据统计都很简单。
• smtplib&email(Python内置)：用于实现邮件告警功能。
• json：用于解析模型返回的JSON格式的结果。
• schedule或crontab：实现定时任务。schedule库适合在脚本内部实现简单的定时循环，而Linux系统的crontab则更常用于部署生产环境的定时任务。

3. 分步编写Python测试脚本

接下来，我们一步步把想法变成代码。我会把关键代码贴出来，并加上详细注释。

3.1 第一步：配置与准备

首先，我们把一些固定的信息配置好，比如模型服务的地址、测试数据的位置等。

import os import json import pandas as pd from PIL import Image import requests from datetime import datetime # ===== 配置区域 ===== # 1. 模型服务API地址 MODEL_API_URL = "http://your-sunflower-match-lab-server:port/predict" # 请替换为实际地址 # 2. 测试数据集路径 TEST_IMAGES_DIR = "./test_dataset/images" # 存放测试图片的文件夹 TEST_LABELS_FILE = "./test_dataset/labels.csv" # 存放图片名和对应正确标签的CSV文件 # 3. 报告输出路径 REPORT_DIR = "./test_reports" # 4. 告警阈值 (准确率低于此值则触发告警) ACCURACY_ALERT_THRESHOLD = 0.95 # 95% # 5. 邮件告警配置 (如果需要) ENABLE_EMAIL_ALERT = False SMTP_SERVER = "smtp.your-email.com" SMTP_PORT = 587 SENDER_EMAIL = "your-alert@email.com" SENDER_PASSWORD = "your-password" RECEIVER_EMAILS = ["team-member1@email.com", "team-member2@email.com"] # 确保报告目录存在 os.makedirs(REPORT_DIR, exist_ok=True)

3.2 第二步：加载测试用例

我们假设标签文件是一个CSV，里面有两列：image_name（图片文件名）和true_label（正确标签）。

def load_test_cases(label_file_path): """ 加载测试用例（图片名和真实标签） """ try: df = pd.read_csv(label_file_path) # 假设CSV文件包含 'image_name' 和 'true_label' 列 test_cases = list(zip(df['image_name'], df['true_label'])) print(f"成功加载 {len(test_cases)} 个测试用例。") return test_cases except FileNotFoundError: print(f"错误：未找到标签文件 {label_file_path}") return [] except Exception as e: print(f"加载标签文件时发生错误：{e}") return [] # 加载测试用例 test_cases = load_test_cases(TEST_LABELS_FILE)

3.3 第三步：调用模型API进行识别

这是脚本的核心功能，负责把图片发送给模型并拿回结果。

def call_model_api(image_path, api_url): """ 调用模型API进行图片识别 """ try: # 以二进制形式打开图片文件 with open(image_path, 'rb') as img_file: files = {'image': img_file} # 发送POST请求，通常图像识别API使用multipart/form-data格式 response = requests.post(api_url, files=files, timeout=30) # 设置超时时间 # 检查HTTP响应状态 response.raise_for_status() # 解析返回的JSON数据 result = response.json() # 假设API返回格式为 {'predicted_label': '向日葵品种A', 'confidence': 0.98} predicted_label = result.get('predicted_label', '') confidence = result.get('confidence', 0.0) return predicted_label, confidence, None # 第三个返回值为错误信息，成功时为None except requests.exceptions.RequestException as req_err: error_msg = f"网络请求失败: {req_err}" return None, None, error_msg except json.JSONDecodeError as json_err: error_msg = f"解析模型返回结果失败: {json_err}" return None, None, error_msg except Exception as e: error_msg = f"调用API时发生未知错误: {e}" return None, None, error_msg

3.4 第四步：批量测试与结果比对

现在，我们遍历所有测试用例，调用上面的函数，并比对结果。

def run_batch_test(test_cases, images_dir, api_url): """ 批量运行测试，并比对结果 """ results = [] total_cases = len(test_cases) for idx, (img_name, true_label) in enumerate(test_cases, 1): image_path = os.path.join(images_dir, img_name) if not os.path.exists(image_path): print(f"警告：图片文件不存在 {image_path}，跳过。") results.append({ 'image_name': img_name, 'true_label': true_label, 'predicted_label': 'FILE_NOT_FOUND', 'confidence': 0.0, 'is_correct': False, 'error': 'Image file not found' }) continue print(f"正在处理 [{idx}/{total_cases}]: {img_name} ...") pred_label, confidence, error = call_model_api(image_path, api_url) if error: # API调用出错 is_correct = False print(f" 失败: {error}") else: # 比对预测标签和真实标签 (假设标签是字符串，直接比对) is_correct = (str(pred_label).strip() == str(true_label).strip()) status = "正确" if is_correct else "错误" print(f" 预测: {pred_label} (置信度: {confidence:.3f}) | 真实: {true_label} -> {status}") results.append({ 'image_name': img_name, 'true_label': true_label, 'predicted_label': pred_label if not error else 'API_ERROR', 'confidence': confidence if not error else 0.0, 'is_correct': is_correct, 'error': error }) return results

3.5 第五步：生成测试报告

测试跑完了，我们需要一份清晰的报告。这里生成一个简单的HTML报告，也可以用Markdown。

def generate_html_report(results, report_dir, accuracy, test_time): """ 生成HTML格式的测试报告 """ # 将结果列表转换为DataFrame，方便统计 df_results = pd.DataFrame(results) # 计算详细统计 total = len(df_results) correct = df_results['is_correct'].sum() failed = total - correct accuracy_percent = accuracy * 100 # 生成报告文件名（包含时间戳） report_filename = f"model_test_report_{test_time.strftime('%Y%m%d_%H%M%S')}.html" report_path = os.path.join(report_dir, report_filename) # 简单的HTML内容 html_content = f""" <!DOCTYPE html> <html> <head> <title>SUNFLOWER MATCH LAB 模型测试报告</title> <style> body {{ font-family: Arial, sans-serif; margin: 40px; }} .summary {{ background-color: #f4f4f4; padding: 20px; border-radius: 5px; margin-bottom: 30px; }} .accuracy {{ font-size: 24px; font-weight: bold; color: {'green' if accuracy >= ACCURACY_ALERT_THRESHOLD else 'red'}; }} table {{ border-collapse: collapse; width: 100%; }} th, td {{ border: 1px solid #ddd; padding: 12px; text-align: left; }} th {{ background-color: #f2f2f2; }} tr:nth-child(even) {{ background-color: #f9f9f9; }} .correct {{ color: green; }} .error {{ color: red; }} </style> </head> <body> <h1>SUNFLOWER MATCH LAB 自动化测试报告</h1> <p>测试时间: {test_time.strftime('%Y-%m-%d %H:%M:%S')}</p> <div class="summary"> <h2>测试概览</h2> <p>总测试用例: <strong>{total}</strong></p> <p>识别正确: <strong>{correct}</strong></p> <p>识别错误/失败: <strong>{failed}</strong></p> <p>准确率: <span class="accuracy">{accuracy_percent:.2f}%</span></p> <p>告警阈值: <strong>{ACCURACY_ALERT_THRESHOLD*100:.0f}%</strong></p> <p>状态: <strong>{'正常' if accuracy >= ACCURACY_ALERT_THRESHOLD else '异常（需检查）'}</strong></p> </div> <h2>详细结果</h2> <table> <tr> <th>图片名</th> <th>真实标签</th> <th>预测标签</th> <th>置信度</th> <th>结果</th> <th>错误信息</th> </tr> """ # 添加每一行的结果 for _, row in df_results.iterrows(): result_class = "correct" if row['is_correct'] else "error" result_text = "正确" if row['is_correct'] else "错误" error_info = row['error'] if pd.notna(row['error']) else "" conf = f"{row['confidence']:.3f}" if row['confidence'] > 0 else "N/A" html_content += f""" <tr> <td>{row['image_name']}</td> <td>{row['true_label']}</td> <td>{row['predicted_label']}</td> <td>{conf}</td> <td class="{result_class}">{result_text}</td> <td>{error_info}</td> </tr> """ html_content += """ </table> </body> </html> """ # 写入文件 with open(report_path, 'w', encoding='utf-8') as f: f.write(html_content) print(f"测试报告已生成: {report_path}") return report_path, accuracy

3.6 第六步：实现告警机制

当准确率不达标时，我们需要让脚本“喊”出来。这里以邮件告警为例。

def send_alert_email(accuracy, report_path, test_time): """ 发送告警邮件 """ if not ENABLE_EMAIL_ALERT: return from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart import smtplib subject = f"[告警] SUNFLOWER MATCH LAB 模型准确率下降 ({accuracy*100:.2f}%)" body = f""" 模型自动化测试发现准确率低于阈值。 测试时间: {test_time.strftime('%Y-%m-%d %H:%M:%S')} 当前准确率: {accuracy*100:.2f}% 告警阈值: {ACCURACY_ALERT_THRESHOLD*100:.0f}% 详细测试报告请查看附件或访问服务器路径： {report_path} 请及时检查模型服务状态或数据是否出现漂移。 """ msg = MIMEMultipart() msg['From'] = SENDER_EMAIL msg['To'] = ", ".join(RECEIVER_EMAILS) msg['Subject'] = subject msg.attach(MIMEText(body, 'plain')) try: # 这里以使用SMTP服务器发送为例，具体配置需根据邮箱服务商调整 server = smtplib.SMTP(SMTP_SERVER, SMTP_PORT) server.starttls() # 安全连接 server.login(SENDER_EMAIL, SENDER_PASSWORD) server.send_message(msg) server.quit() print("告警邮件发送成功。") except Exception as e: print(f"发送告警邮件失败: {e}")

3.7 第七步：组装主函数并定时执行

最后，我们把所有功能组装起来，并加上定时执行的逻辑。

def main(): """主函数，执行一次完整的测试流程""" print("="*50) print("开始执行 SUNFLOWER MATCH LAB 模型自动化测试...") print("="*50) test_start_time = datetime.now() # 1. 加载测试用例 test_cases = load_test_cases(TEST_LABELS_FILE) if not test_cases: print("未加载到测试用例，程序退出。") return # 2. 执行批量测试 results = run_batch_test(test_cases, TEST_IMAGES_DIR, MODEL_API_URL) # 3. 统计准确率 df_results = pd.DataFrame(results) # 只统计没有发生错误的用例 valid_results = df_results[df_results['error'].isna()] if len(valid_results) > 0: accuracy = valid_results['is_correct'].mean() else: accuracy = 0.0 print("警告：所有测试用例均调用失败，无法计算准确率。") print(f"\n测试完成。有效测试数: {len(valid_results)}， 识别准确率: {accuracy*100:.2f}%") # 4. 生成报告 report_path, final_accuracy = generate_html_report(results, REPORT_DIR, accuracy, test_start_time) # 5. 检查并触发告警 if final_accuracy < ACCURACY_ALERT_THRESHOLD: print(f"准确率 {final_accuracy*100:.2f}% 低于阈值 {ACCURACY_ALERT_THRESHOLD*100:.0f}%，触发告警。") send_alert_email(final_accuracy, report_path, test_start_time) else: print("模型准确率正常。") print("自动化测试流程结束。") if __name__ == "__main__": # 直接运行一次 main() # 如果需要定时运行（例如每6小时一次），可以使用schedule库 # import schedule # import time # schedule.every(6).hours.do(main) # print("定时测试任务已启动，每6小时运行一次...") # while True: # schedule.run_pending() # time.sleep(60)

4. 让脚本在后台持续运行

脚本写好了，怎么让它长期在服务器上自动工作呢？这里有几个常见的做法：

1. 使用Linux Crontab：这是最经典、最稳定的方式。在服务器上使用crontab -e命令添加一条定时任务即可。例如，每天凌晨2点运行一次：

   0 2 * * * cd /path/to/your/script && /usr/bin/python3 model_test_script.py >> /var/log/model_test.log 2>&1

2. 使用Python Schedule库（守护进程）：就像上面代码注释里写的那样，让脚本自己循环，使用schedule库管理定时任务。然后使用nohup或systemd让脚本在后台运行。
3. 集成到CI/CD流水线：如果你的模型更新是通过自动化流程发布的，可以在发布流水线中加入这个测试脚本作为“冒烟测试”或“验收测试”的一环，确保新版本模型上线前的基本质量。

5. 总结与后续优化建议

这套自动化测试脚本用下来，确实成了我们保障模型服务质量的“定心丸”。它把原本需要人工定期检查的重复劳动自动化了，一旦模型识别效果出现波动，我们能在第一时间收到通知，排查问题是数据的原因、服务的原因还是模型本身的原因。

脚本本身也有不少可以继续完善的地方。比如，测试数据集可以设计得更科学，定期加入一些新的、能反映当前线上数据分布的样本，防止测试集过时。告警方式也可以更丰富，除了邮件，还能接入钉钉、企业微信、Slack等团队常用的协作工具。报告也可以做得更美观，甚至加入准确率的历史趋势图，让我们能更直观地看到模型性能的变化曲线。

最重要的是，这套框架是通用的。今天我们用它在SUNFLOWER MATCH LAB上做图像识别测试，明天稍微改改API调用和结果解析的部分，就能套用到其他模型服务上，比如文本分类、语音识别等等。它本质上是一套模型服务的健康监控方案。

如果你也在为模型上线后的稳定性发愁，不妨从这样一个简单的自动化测试脚本开始。先从核心的批量调用和结果比对功能做起，让它跑起来，然后再根据实际需求慢慢添加告警、报告、定时任务这些功能。有了这个基础工具，你就能更从容地应对模型服务运维中的各种挑战了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。