MiniCPM5-1B-Agentic-Tooluse-GGUF模型家族全解析：从LoRA适配器到GGUF文件

MiniCPM5-1B-Agentic-Tooluse-GGUF模型家族全解析：从LoRA适配器到GGUF文件

【免费下载链接】MiniCPM5-1B-Agentic-Tooluse-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF

MiniCPM5-1B-Agentic-Tooluse-GGUF是一套专为工具调用优化的量化模型家族，基于OpenBMB的MiniCPM5-1B基础模型，通过Nemotron SFT+DPO技术增强，提供F16、Q8_0和Q4_K_M三种GGUF格式文件，满足不同场景下的部署需求。

🌟 模型家族概览

核心成员与应用场景

该模型家族包含多个关键组件，适用于不同的开发需求：

🔍 文件规格对比

根目录下提供三种主要量化版本，各有特点：

legacy/ 目录下保留了早期非Nemotron版本的导出文件，用于可复现性验证，建议优先使用根目录下的Nemotron-DPO文件。

🛠️ 工具调用格式

模型采用XML风格的工具调用格式，结构清晰易于解析：

<function name="tool_name"><param name="parameter">value</param></function>

部署运行时应遵循以下步骤：

1. 以训练兼容的提示格式提供可用工具定义
2. 确定性解码工具选择
3. 在第一个完整的</function>后停止
4. 根据提供的模式验证函数名称和参数
5. 在模型外部执行工具并在新轮次中提供结果

🚀 快速开始指南

克隆仓库

git clone https://gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF

使用llama.cpp运行

llama-cli \ -m MiniCPM5-1B-Agentic-Tooluse-Nemotron-DPO.Q4_K_M.gguf \ -p '<user>Fix the calculator bug.</user> <tools>{"name":"run_tests","description":"Run the test suite."}</tools> <calls>' \ -n 96 \ --temp 0

注意：需使用最新的llama.cpp构建版本，且聊天模板和EOS处理需与源模型的chat_template.jinja匹配。

使用vLLM部署

截至2026年7月，vLLM对GGUF的支持仍处于实验阶段，需安装专用插件：

uv pip install vllm vllm-gguf-plugin

直接从Hub提供Q4_K_M模型服务：

vllm serve \ ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF:Q4_K_M \ --tokenizer ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16 \ --hf-config-path ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16

📊 模型评估表现

基于Team-ACE/ToolACE数据集的300个示例进行外部评估，修复后的源模型相比基础模型有显著提升：

📝 部署注意事项

• Q4_K_M和Q8_0版本尚未进行独立的300例ToolACE运行，其确切分数不应假定与FP16相同
• 模式验证和权限检查是通用的工具运行时安全要求，而非特定于模型的回归
• 源模型的有效名称和精确参数行为有显著改善，但在未见工具上仍可能出现罕见错误
• MiniCPM5的基于解析器的服务路径提取第一个完成的XML调用，而非仅依赖自然EOS
• vLLM GGUF支持为实验性；在内存允许的情况下，合并的safetensors仍是更可靠的vLLM格式
• llama.cpp行为取决于构建版本和前端的聊天模板处理

🔄 版本历史

当前的Nemotron-DPO文件是2026年7月的修复导出版本。旧版非Nemotron文件存储在legacy/目录下以确保可复现性，更早的仓库状态可从Hugging Face提交历史中获取。

📋 MiniCPM5工具调用运行时契约

MiniCPM5-1B具有原生XML风格工具调用。OpenBMB推荐使用SGLang及其内置的minicpm5解析器进行工具调用：

python -m sglang.launch_server \ --model-path MODEL_PATH \ --tool-call-parser minicpm5

解析器将完整的<function ...>...</function>块转换为OpenAI兼容的tool_calls响应。生产环境中的智能体应将第一个完整的函数块视为动作边界，验证它，在外部执行工具，并在新的轮次中发送工具结果。

报告的stopped_cleanly_rate=0.15是一个严格的自然终止指标：只有15%的评估生成在该边界发出完整调用并自然终止，无需运行时干预。这并不意味着只有15%产生了可用的工具调用。在相同的300个案例中，修复后的源模型实现了：

• parseable_rate=0.9933
• valid_name_rate=0.9700
• expected_name_rate=0.9267
• no_repetition_rate=1.0000

因此，边界处的自然EOS仍然较弱，而首次调用提取和选择则要强得多。在支持的情况下使用官方解析器，并配置有界生成或解析器端在第一个完整的</function>后停止。

📚 转换元数据

转换元数据存储在CONVERSION_METADATA.json中，包含以下关键信息：

• 源模型：ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-Merged-FP16
• 源修订版本：67e1cad9b15ffc21d0877bf952d9ece2eeda5d35
• llama.cpp修订版本：683f0c72e5b3c07fab90bfd9ec2ce8661d624228
• 量化文件列表：F16、Q8_0和Q4_K_M三种格式

【免费下载链接】MiniCPM5-1B-Agentic-Tooluse-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ewinregirgojr/MiniCPM5-1B-Agentic-Tooluse-GGUF