[开源项目] SmartSafe-大模型安全测评备案系统
SmartSafe（智安）
📖 项目简介
SmartSafe（智安）是一套面向大语言模型（LLM）的安全评测系统，助力快速完成大模型备案。系统参考tc260-003《生成式人工智能服务安全基本要求》等国家标准，提供测试用例库、模型接入、评测任务执行与结果分析等能力，帮助团队将”模型安全”沉淀为可测、可追踪、可对比的指标与流程，一键生成符合监管要求的安全评测报告。
github地址：https://github.com/xyh4ck/SmartSafe
数据集：可以star⭐项目，私聊领取
🎯 核心价值
- 合规备案：对标国家标准，输出符合监管要求的评测报告，助力大模型快速通过备案
- 全面评测：覆盖语料安全、生成内容安全、拒答测试等多维度安全评测能力
- 开箱即用：内置丰富测试用例库，支持自定义扩展，快速构建评测体系
✨ 核心功能
🔬 评测任务管理
模块路径：
module_evaltask
| 功能 | 说明 |
|---|---|
| 任务创建 | 三步向导创建任务，选择模型 + 按全部/维度/分类筛选用例，自动批量组装评测输入 |
| 异步执行 | Celery 异步执行评测，支持并发限流、失败重试与任务幂等保护 |
| 进度追踪 | 提供任务进度、用例明细、阶段日志查询（支持轮询与 ETag 缓存） |
| 结果分析 | 内置规则分析与 deepteam 评估，输出风险分数、风险等级、风险原因与 Token 用量 |
| 汇总报告 | 自动生成任务汇总结果：等级分布、通过率、指标均值与 Top 风险样本 |
📚 测试用例库管理
模块路径：
module_evaluation
| 功能 | 说明 |
|---|---|
| 关键词题库 | 支持关键词增删改查、同类唯一性校验、风险等级与匹配类型配置、Excel 导入导出 |
| 生成内容题库 | 支持测试用例 CRUD，按维度/分类/状态分页检索，自动校验维度分类一致性与重复 |
| 候选题审核 | 支持候选题自动生成（应拒答/不应拒答）、批量审核、审核后发布至正式题库 |
| 风险分类 | 支持风险维度与分类管理、启用状态控制、维度-分类树查询、模板导入导出 |
🤖 模型接入管理
模块路径：
module_model
| 功能 | 说明 |
|---|---|
| 模型配置 | 模型注册与配置管理（provider/type/api_base 等） |
| 密钥管理 | API Key 加密存储与解密调用，评测执行阶段按模型配置自动注入 |
| 连通测试 | 在线验证模型可调用性 |
| 状态管理 | 模型可用状态批量开关、版本维护 |
📸 系统截图
评测任务管理
测试用例管理
模型接入管理
🗺️ 未来开发计划
🔐 大模型漏洞库
构建专属大模型漏洞库，实现漏洞收集、分类、更新、匹配、扫描的全流程管理，联动现有评测用例库，提升评测精准度，支持漏洞自动扫描与风险预警，形成漏洞治理闭环。
🔌 Skills 安全扫描
覆盖大模型技能（插件/应用）的全生命周期安全，重点打造 Skills 安全扫描核心能力，实现技能注册审核、运行时监控、恶意行为识别、安全评级的全流程扫描管控，联动评测流程完善安全闭环。
📡 MCP 安全扫描
聚焦大模型通信协议（MCP）安全，重点构建 MCP 安全扫描能力，实现协议适配、加密校验、身份认证、数据传输检测、异常行为拦截的全流程扫描防护，保障模型通信全链路安全。