基于taotoken与python在ubuntu上构建多轮对话测试工具

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度

基于taotoken与python在ubuntu上构建多轮对话测试工具

在AI应用开发与模型选型过程中，对多个大语言模型的回答质量、风格一致性和稳定性进行系统性评估，是一项关键且耗时的工作。对于AI质量评估工程师或开发团队而言，手动切换不同厂商的API、管理各自的密钥、并统一测试流程，效率低下且容易出错。本文将介绍如何在Ubuntu工作站上，利用Taotoken平台提供的统一API接入能力，结合Python SDK，构建一个自动化多轮对话测试工具，实现高效、可复现的模型质量横向数据收集。

1. 场景核心价值与工具设计思路

该工具的核心目标是自动化执行预设的多轮对话测试集，并将不同模型的响应结果、耗时等关键指标记录下来，形成结构化的评估报告。其设计思路围绕以下几个关键点展开：

统一接入层：借助Taotoken的OpenAI兼容API，我们无需为每个待测模型单独编写适配代码或管理多个API端点。只需在Taotoken平台创建一个API Key，并在其模型广场获取所需模型的唯一标识符（如gpt-4o、claude-3-5-sonnet、deepseek-chat等），即可通过同一套代码调用它们。

测试集与流程定义：测试集应包含一系列具有代表性的问题或对话场景，可能涵盖事实问答、逻辑推理、创意写作、代码生成、安全合规响应等多个维度。测试流程需要模拟真实的多轮交互，即根据模型上一轮的回答，自动或按规则生成下一轮的问题。

结果收集与分析：工具需要精确记录每轮对话的输入、输出、响应时间（如response_ms）、使用的Token数量等信息。这些数据将输出为结构化的格式（如JSON Lines、CSV），便于后续进行统计分析、可视化或导入数据库。

环境与依赖：选择Ubuntu作为运行环境，因其在服务器和开发工作站中广泛使用，稳定性好，且与Python生态兼容性极佳。核心依赖是官方的openaiPython SDK，以及用于数据处理和报告生成的常用库（如pandas,json）。

2. 环境准备与Taotoken配置

首先，确保你的Ubuntu系统已安装Python 3.8或更高版本。可以通过python3 --version命令检查。接着，创建一个独立的项目目录并初始化虚拟环境，这有助于隔离依赖。

mkdir model_qa_evaluator && cd model_qa_evaluator python3 -m venv venv source venv/bin/activate

安装必要的Python包。我们主要需要openai库来调用Taotoken API，同时可以安装pandas和tqdm来辅助数据处理和显示进度。

pip install openai pandas tqdm

接下来，访问Taotoken平台。注册并登录后，在控制台的“API密钥”页面创建一个新的密钥。请妥善保存此密钥，它将在脚本中作为身份凭证使用。

然后，前往“模型广场”页面，浏览并记录下你计划测试的模型ID。例如，你可能对gpt-4o、claude-3-5-sonnet-20241022和qwen-plus感兴趣。这些模型ID将在后续的脚本中直接使用。

3. 核心脚本编写与实现

我们将编写一个Python脚本，其核心是一个测试运行器类。这个类负责加载测试用例、初始化Taotoken客户端、按顺序对每个模型执行多轮对话，并收集结果。

首先，创建一个名为evaluator.py的文件，并开始编写代码。第一部分是导入模块和配置常量。

import os import json import time from openai import OpenAI from typing import List, Dict, Any import pandas as pd from tqdm import tqdm # 配置 TAOTOKEN_API_KEY = os.getenv("TAOTOKEN_API_KEY", "your_taotoken_api_key_here") # 建议通过环境变量设置 TAOTOKEN_BASE_URL = "https://taotoken.net/api" TEST_CASES_FILE = "test_cases.jsonl" # 测试用例文件 RESULTS_FILE = "evaluation_results.jsonl" # 结果输出文件 MODELS_TO_TEST = [ "gpt-4o", "claude-3-5-sonnet-20241022", "qwen-plus", # 添加更多从Taotoken模型广场获取的模型ID ]

重要提示：在实际项目中，强烈建议将TAOTOKEN_API_KEY通过环境变量传入（例如export TAOTOKEN_API_KEY='your_key'），避免将密钥硬编码在脚本中。

接下来，定义测试用例的数据结构。一个简单的多轮对话测试用例可以是一个字典列表，每个字典代表一轮对话，包含role（user或assistant）和content。初始轮次由user开始。我们假设测试用例存储在JSON Lines格式的文件中。

然后，实现核心的ModelEvaluator类。

class ModelEvaluator: def __init__(self, api_key: str, base_url: str): self.client = OpenAI( api_key=api_key, base_url=base_url, ) def run_single_conversation(self, model: str, messages: List[Dict]) -> Dict[str, Any]: """对单个模型运行一轮对话（可包含历史消息），并返回结果。""" start_time = time.time() try: response = self.client.chat.completions.create( model=model, messages=messages, max_tokens=1024, temperature=0.7, # 可根据测试需求调整 ) end_time = time.time() completion = response.choices[0].message usage = response.usage return { "model": model, "input_messages": messages, "output_message": completion.content, "response_time_ms": round((end_time - start_time) * 1000, 2), "input_tokens": usage.prompt_tokens, "output_tokens": usage.completion_tokens, "total_tokens": usage.total_tokens, "finish_reason": response.choices[0].finish_reason, "success": True, } except Exception as e: return { "model": model, "input_messages": messages, "output_message": None, "response_time_ms": None, "input_tokens": None, "output_tokens": None, "total_tokens": None, "finish_reason": str(e), "success": False, } def run_multi_turn_test(self, model: str, test_case: List[Dict]) -> List[Dict[str, Any]]: """对一个模型执行一个多轮对话测试用例。""" conversation_history = [] results_per_turn = [] for turn in test_case: # 假设test_case中每一轮都是用户输入 conversation_history.append({"role": "user", "content": turn["content"]}) turn_result = self.run_single_conversation(model, conversation_history.copy()) results_per_turn.append(turn_result) if turn_result["success"] and turn_result["output_message"]: # 将模型回复加入历史，用于下一轮 conversation_history.append({"role": "assistant", "content": turn_result["output_message"]}) else: # 如果本轮失败，可能终止测试或记录错误 break return results_per_turn def load_test_cases(file_path: str) -> List[List[Dict]]: """从JSON Lines文件加载测试用例。""" test_cases = [] with open(file_path, 'r', encoding='utf-8') as f: for line in f: data = json.loads(line.strip()) # 假设每行是一个测试用例，包含多轮用户输入列表 test_cases.append([{"role": "user", "content": q} for q in data["questions"]]) return test_cases def main(): evaluator = ModelEvaluator(TAOTOKEN_API_KEY, TAOTOKEN_BASE_URL) test_cases = load_test_cases(TEST_CASES_FILE) all_results = [] for model in tqdm(MODELS_TO_TEST, desc="Testing Models"): for case_id, test_case in enumerate(test_cases): case_results = evaluator.run_multi_turn_test(model, test_case) for turn_idx, turn_result in enumerate(case_results): record = { "case_id": case_id, "turn_idx": turn_idx, **turn_result # 合并字典 } all_results.append(record) # 保存结果到JSON Lines文件 with open(RESULTS_FILE, 'w', encoding='utf-8') as f: for record in all_results: f.write(json.dumps(record, ensure_ascii=False) + '\n') print(f"测试完成！结果已保存至 {RESULTS_FILE}") # 可选：使用pandas进行快速摘要 df = pd.DataFrame(all_results) print(df.groupby('model')[['success', 'response_time_ms', 'total_tokens']].mean()) if __name__ == "__main__": main()

4. 测试执行与结果分析示例

在运行脚本前，需要准备测试用例文件test_cases.jsonl。这是一个简单的示例：

{"questions": ["请用Python写一个函数，判断一个数是否为素数。", "如果输入是负数，你的函数会如何处理？", "请为这个函数添加文档字符串。"]} {"questions": ["简述牛顿第一定律。", "这个定律在非惯性参考系中是否成立？为什么？"]}

运行脚本：

python evaluator.py

脚本将遍历MODELS_TO_TEST列表中的每个模型，对每个测试用例执行多轮对话，并在控制台显示进度条。测试完成后，所有详细结果将保存在evaluation_results.jsonl中。

结果文件中的每条记录都包含了模型、测试用例、轮次、输入输出、耗时、Token用量和成功状态等信息。你可以使用Python数据分析库（如pandas）或可视化工具（如matplotlib,seaborn）对这些数据进行深入分析。例如，可以计算每个模型在所有测试用例上的平均响应时间、成功率、总Token消耗成本（结合Taotoken平台的计价规则），并对回答内容进行质量评分（可引入人工或自动化评分规则）。

通过这种方式，你获得的不再是主观印象，而是基于相同测试集和统一接口的客观数据。这些数据能为团队在模型选型、成本预算和性能调优等方面提供坚实的决策依据。整个流程可以集成到持续集成（CI）系统中，定期运行，以监控模型服务的稳定性与表现变化。

通过上述步骤，你可以在Ubuntu环境下快速搭建一个专业的模型自动化测试流水线。Taotoken的统一接入能力简化了多模型调用的复杂性，让工程师能够更专注于测试设计与结果分析本身。你可以根据实际需求扩展此工具，例如增加更复杂的对话逻辑、集成自动化评分模型、或生成更丰富的图表报告。开始你的模型评估之旅吧，访问Taotoken获取API Key并探索更多可用模型。

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度