HY-Embodied-0.5-X的长时规划能力：从任务分解到失败反思的完整循环

HY-Embodied-0.5-X的长时规划能力：从任务分解到失败反思的完整循环

【免费下载链接】HY-Embodied-0.5-X项目地址: https://ai.gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X

HY-Embodied-0.5-X是由腾讯Robotics X与HY Vision团队联合发布的增强型开源具身基础模型，专注于真实世界机器人的核心循环——"理解、推理、行动"。该模型在10个主流具身任务规划基准上达到了最先进的性能，在7个基准上位列边缘侧领域模型第一，尤其擅长长时规划能力，能够处理多步骤、强依赖的复杂任务。

🔍 长时规划能力的核心优势

HY-Embodied-0.5-X在长时规划方面展现出三大核心优势，使其从"看见"迈向"行动"：

稳定的任务分解能力

该模型能够将复杂任务分解为可执行的子任务序列，在连续交互中保持决策的稳定性。无论是家庭服务还是桌面操作场景，都能生成条理清晰的任务步骤，为机器人执行提供明确指导。

精准的行动规划能力

基于对物体位置、场景布局和相对空间关系的准确推理，HY-Embodied-0.5-X能够制定精确的行动方案。这种空间理解能力为行动决策提供了可靠的感知基础，确保机器人在执行任务时更加精准高效。

智能的失败反思机制

模型具备风险判断和失败反思能力，能够识别任务执行过程中的问题并调整策略。这种自我修正机制使机器人能够在复杂环境中应对各种不确定性，提高任务成功率。

🚀 实现长时规划的技术架构

HY-Embodied-0.5-X构建于MoT-2B架构之上（总参数4B，仅激活2B），兼顾高性能和边缘友好性。其长时规划能力的实现得益于以下技术特点：

• 多模态参考接地：融合视觉和语言信息，建立准确的环境表征
• 空间推理增强：精确理解物体间空间关系，支持复杂操作规划
• 行动预测优化：基于历史交互预测未来行动效果，提升规划前瞻性
• 风险评估模块：实时评估行动风险，避免潜在失败

💻 快速体验长时规划能力

要体验HY-Embodied-0.5-X的长时规划能力，首先需要安装必要的依赖：

pip install git+https://github.com/huggingface/transformers@9293856c419762ebf98fbe2bd9440f9ce7069f1a pip install torch==2.10.0 torchvision==0.25.0 --index-url https://download.pytorch.org/whl/cu126 pip install accelerate safetensors Pillow

然后可以使用以下代码进行简单的任务规划推理：

import torch from transformers import AutoModelForImageTextToText, AutoProcessor MODEL_PATH = "tencent/HY-Embodied-0.5-X" DEVICE = "cuda" THINKING_MODE = True # 启用思考模式，支持规划推理 TEMPERATURE = 0.05 processor = AutoProcessor.from_pretrained(MODEL_PATH) model = AutoModelForImageTextToText.from_pretrained( MODEL_PATH, torch_dtype=torch.bfloat16, ).to(DEVICE).eval() # 多步骤任务规划示例 messages = [ { "role": "user", "content": [ {"type": "image", "image": "./kitchen_scene.jpg"}, # 厨房场景图片 {"type": "text", "text": "规划如何制作一杯咖啡，包括所有必要步骤"}, ], } ] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", enable_thinking=THINKING_MODE, # 开启思考模式以获取规划过程 ).to(model.device) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=32768, use_cache=True, temperature=TEMPERATURE, do_sample=TEMPERATURE > 0, ) output_ids = [out[len(inp):] for inp, out in zip(inputs.input_ids, generated_ids)] print(processor.batch_decode(output_ids, skip_special_tokens=True)[0])

在思考模式下，模型的响应将包含推理过程和最终答案，格式为<RichMediaReference>[reasoning]</RichMediaReference></think>[answer]</RichMediaReference>，便于理解其任务规划思路。

📊 长时规划性能评估

在内部AI2Thor具身规划基准（四个家庭场景中的1,011个任务）上，HY-Embodied-0.5-X在长时操作、自我意识和空间理解方面表现出明显优势。该模型在涵盖规划、空间推理、具身QA、视觉参考和轨迹理解的10个开源基准测试中均处于顶级水平。

🌟 实际应用场景

HY-Embodied-0.5-X的长时规划能力在多个领域具有广泛应用前景：

• 家庭服务机器人：在真实环境中进行空间推理、细粒度操作推理、任务理解和失败反思
• 任务规划与仿真评估：在模拟环境中进行规划评估和多模态交互研究
• 本地部署与开发：设备端验证和具身能力的下游开发

通过开源HY-Embodied-0.5-X，腾讯希望为具身AI社区提供一个更面向部署的基础，推动模型从"一般理解"向"真实世界执行"迈进。无论是学术研究还是商业应用，该模型都为构建更智能、更可靠的具身智能系统提供了强大支持。

要获取完整的训练和推理文档，请参考项目的官方文档：docs/training.md和docs/inference.md。

如需深入研究或定制模型，可通过以下命令克隆完整仓库：

git clone https://gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X

HY-Embodied-0.5-X正引领着具身智能的新方向，其强大的长时规划能力将为未来机器人与环境的交互方式带来革命性变化。

【免费下载链接】HY-Embodied-0.5-X项目地址: https://ai.gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X