Hy-MT2-1.8B-1.25Bit-GGUF性能评测：超越主流商业API的轻量级翻译神器

Hy-MT2-1.8B-1.25Bit-GGUF性能评测：超越主流商业API的轻量级翻译神器

【免费下载链接】Hy-MT2-1.8B-1.25Bit-GGUF项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy-MT2-1.8B-1.25Bit-GGUF

Hy-MT2-1.8B-1.25Bit-GGUF是腾讯混元推出的轻量级多语言翻译模型，基于AngelSlim 1.25-bit极端量化技术，仅需440MB存储空间即可实现超越微软和豆包等主流商业API的翻译性能。这款"快思考"翻译模型支持33种语言互译，推理速度提升1.5倍，为开发者和普通用户提供了高效、经济的本地化翻译解决方案。

为什么选择Hy-MT2-1.8B-1.25Bit-GGUF？

突破性的轻量化设计

通过AngelSlim量化技术，Hy-MT2-1.8B模型实现了1.25-bit的极端压缩，将模型体积控制在440MB，同时保持了卓越的翻译质量。这意味着即使在资源受限的设备上，也能流畅运行高性能翻译任务。

超越商业API的翻译能力

多维度评测显示，这款轻量级模型在通用、真实业务、专业领域及指令遵循等翻译任务中表现卓越，整体性能超越了微软和豆包等主流商业API。无论是日常对话还是专业文档，都能提供高质量的翻译结果。

全面的语言支持

Hy-MT2支持33种语言互译，涵盖中、英、法、德、日、韩等主要语种，以及越南语、马来语、阿拉伯语等小语种，满足全球化应用的多语言需求。

核心性能优势解析

极速推理体验

得益于优化的模型结构和量化技术，Hy-MT2-1.8B的推理速度较传统模型提升1.5倍，实现"快思考"翻译响应，让实时翻译不再受限于网络延迟。

多样化翻译能力

模型支持多种翻译模式，包括默认翻译、术语参考、风格控制、个性化定制、结构化数据翻译等，满足不同场景的翻译需求：

• 术语一致性：支持参考术语表进行翻译，确保专业词汇的准确性
• 风格适配：可严格遵循指定的翻译风格（如正式、口语、学术等）
• 结构化数据处理：能保持JSON、XML等格式数据的结构不变，仅翻译可见文本

灵活部署选项

提供多种部署方式，包括transformers、vllm、sglang和llama_cpp等，适配不同的应用场景和硬件条件。对于llama_cpp部署，需使用支持STQ kernel的版本（参考PR #22836）。

快速开始使用指南

环境准备

首先克隆项目仓库：

git clone https://gitcode.com/tencent_hunyuan/Hy-MT2-1.8B-1.25Bit-GGUF

基础推理示例

使用transformers库进行推理的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path = "tencent/Hy-MT2-1.8B" # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) # 加载模型 model = AutoModelForCausalLM.from_pretrained( model_path, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True, ) model.eval() # 示例推理 prompt = "将以下文本翻译成英语,注意只需要输出翻译后的结果,不要额外解释:\n\n今天天气真好。" messages = [{"role": "user", "content": prompt}] inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=4096, ) response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True) print(response) # 输出: The weather is really nice today.

推荐推理参数

对于1.8B模型，推荐使用以下参数获得最佳翻译效果：

{ "temperature": 0.7, "top_p": 0.6, "top_k": 20, "repetition_penalty": 1.05, "max_tokens": 4096 }

模型训练与微调

Hy-MT2提供了完整的模型训练流程，支持全量微调和LoRA微调，同时支持DeepSpeed ZeRO多种配置以及LLaMA-Factory集成。详细的训练文档请参考：模型训练指南

训练相关配置文件位于项目的train目录下，包括：

• DeepSpeed配置：train/deepspeed_support/
• LLaMA-Factory配置：train/llama_factory_support/

总结

Hy-MT2-1.8B-1.25Bit-GGUF凭借其极致的轻量化设计、超越商业API的翻译质量和灵活的部署选项，成为本地化翻译的理想选择。无论是开发多语言应用、构建离线翻译工具，还是进行翻译模型研究，这款模型都能提供强大而经济的解决方案。

欢迎通过邮件（hunyuan_opensource@tencent.com）联系腾讯混元LLM团队，获取更多技术支持和反馈建议。

【免费下载链接】Hy-MT2-1.8B-1.25Bit-GGUF项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy-MT2-1.8B-1.25Bit-GGUF