Cradle框架入门：5分钟搭建通用计算机控制AI代理的完整指南

Cradle框架入门：5分钟搭建通用计算机控制AI代理的完整指南

【免费下载链接】Cradle项目地址: https://gitcode.com/GitHub_Trending/cradle/Cradle

Cradle是一个革命性的通用计算机控制AI代理框架，它能让基础模型像人类一样通过统一的界面执行复杂计算机任务——以屏幕截图作为输入，键盘和鼠标操作作为输出。这个强大的AI代理框架支持多种应用场景，从日常办公软件到复杂的数字游戏，为通用计算机控制提供了完整的解决方案。💻

为什么选择Cradle框架？🚀

Cradle框架的核心优势在于其统一的接口设计和强大的自适应能力。无论您想要控制《荒野大镖客2》中的游戏角色，还是自动化处理Outlook邮件、Chrome浏览器操作，Cradle都能提供一致的开发体验。这个AI代理框架通过视觉理解和动作执行的无缝集成，实现了真正的通用计算机控制。

Cradle框架的核心架构图展示了信息收集、自我反思、任务推理、技能整理和动作规划五大模块的协同工作

快速开始：5分钟安装指南⚡

环境配置步骤

首先克隆仓库并设置Python环境：

git clone https://gitcode.com/GitHub_Trending/cradle/Cradle.git cd Cradle conda create --name cradle-dev python=3.10 conda activate cradle-dev pip install -r requirements.txt

API密钥配置

创建.env文件存储API密钥（至少配置一个）：

OA_OPENAI_KEY = "your-openai-api-key" RF_CLAUDE_AK = "your-claude-access-key" RF_CLAUDE_SK = "your-claude-secret-key" AZ_OPENAI_KEY = "your-azure-openai-key" AZ_BASE_URL = "https://your-azure-endpoint.openai.azure.com/"

OCR工具安装

Cradle依赖spaCy进行文本识别：

# 方法1：直接下载 python -m spacy download en_core_web_lg # 方法2：手动安装 cd res/spacy/data pip install en_core_web_lg-3.7.1.tar.gz

Cradle框架架构深度解析🔧

核心模块设计

Cradle采用模块化设计，主要包含以下关键组件：

1. 环境配置模块(conf/) - 存储环境和LLM模型的配置文件
2. 技能管理系统(cradle/environment/) - 原子技能和复合技能的注册与调用
3. 执行器模块(cradle/module/executor.py) - 统一的任务执行接口
4. 规划器模块(cradle/planner/) - 动作规划、自我反思和任务推理
5. 提供者模块(cradle/provider/) - LLM调用、对象检测、视频处理等核心功能

Cradle框架在《荒野大镖客2》中的端到端执行流程，展示了观察→反思→推理→技能→执行的完整闭环

支持的应用程序和游戏

Cradle框架目前支持以下丰富的应用场景：

🎮数字游戏：

• 《荒野大镖客2》（Red Dead Redemption 2）
• 《星露谷物语》（Stardew Valley）
• 《城市：天际线》（Cities: Skylines）
• 《商人生活2》（Dealer's Life 2）

💼办公软件：

• Chrome浏览器自动化操作
• Outlook邮件管理
• 飞书（Feishu）工作流
• CapCut视频编辑
• 美图秀秀图片处理

实战教程：运行第一个AI代理📖

1. 选择目标环境

Cradle为每个环境提供了专门的配置文件和运行脚本：

# 运行《荒野大镖客2》代理 python runner.py --env rdr2 # 运行Chrome浏览器代理 python runner.py --env chrome # 运行Outlook邮件代理 python runner.py --env outlook

2. 配置环境参数

每个环境都有特定的配置文件，例如《荒野大镖客2》的配置位于 conf/env_config_rdr2_main_storyline.json，包含窗口名称、技能配置等关键参数。

3. 自定义技能开发

Cradle的技能系统允许您轻松扩展功能：

# 示例：创建一个新的原子技能 from cradle.environment.skill import Skill class CustomSkill(Skill): def __init__(self): super().__init__( name="custom_skill", description="自定义技能示例", parameters={"param1": "类型说明"} ) def execute(self, **kwargs): # 实现具体的操作逻辑 return {"status": "success", "result": "操作完成"}

高级功能：技能生成与记忆系统🧠

动态技能生成

Cradle的核心创新之一是动态技能生成能力。当AI代理遇到新任务时，它会：

1. 分析当前界面- 通过LLM理解屏幕内容
2. 生成新技能- 自动创建对应的操作函数
3. 执行并验证- 测试技能的有效性
4. 存储到技能库- 供后续复用

记忆系统架构

Cradle的记忆系统包含两个关键组件：

• 情景记忆（Episodic Memory）- 存储事件序列和历史经验
• 程序记忆（Procedural Memory）- 存储动作模式和技能函数

Cradle框架的多场景应用展示，从日常软件到专业工具再到数字游戏的全覆盖

性能优化与最佳实践⚡

1. 图像处理优化

Cradle使用先进的图像处理技术提升识别精度：

• 图标替换机制(cradle/provider/icon_replacer.py) - 将难以识别的图标替换为文本
• SAM2SOM算法- 改进的对象检测和分割技术
• 图像增强技术(cradle/provider/augment/) - 提升视觉特征提取能力

2. 内存管理策略

# 配置内存参数优化性能 memory_config = { "max_episodes": 100, # 最大情景记忆数量 "skill_cache_size": 50, # 技能缓存大小 "image_cache_enabled": True # 启用图像缓存 }

3. 错误处理与恢复

Cradle内置了完善的错误处理机制：

• 自我反思模块(cradle/planner/base.py) - 自动检测和修复执行错误
• 技能验证系统- 确保生成的技能安全可靠
• 回滚机制- 在失败时恢复到稳定状态

迁移到新游戏或应用程序🔄

Cradle提供了清晰的迁移指南，帮助您快速适配新环境：

基本迁移步骤

1. 创建环境配置- 在 conf/ 目录下添加新的配置文件
2. 实现UI控制- 在 cradle/environment/ 中创建对应的ui_control.py
3. 定义技能- 实现原子技能和复合技能
4. 配置资源- 在 res/ 目录下添加图标、提示词等资源
5. 创建运行器- 在 cradle/runner/ 中添加对应的运行逻辑

详细迁移文档

完整的迁移指南请参考 docs/envs/new_game.md，其中包含了从零开始适配新游戏的具体步骤和最佳实践。

实际应用案例展示🎯

案例1：《荒野大镖客2》任务自动化

Cradle在《荒野大镖客2》中展示了强大的游戏控制能力：

• 实时战斗管理- 自动暂停游戏等待AI决策
• 复杂导航系统- 基于小地图的路径规划
• 物品交易系统- 自动买卖物品和资源管理

《荒野大镖客2》中Cradle框架的执行结果展示，实现了复杂的游戏任务自动化

案例2：办公软件自动化

Cradle同样擅长办公场景的自动化：

• 邮件自动回复- 智能分析并回复Outlook邮件
• 浏览器自动化- Chrome中的网页操作和数据提取
• 文档处理- 飞书中的文档创建和协作

Cradle在多种办公软件中的自动化执行结果，展示了其通用计算机控制能力

常见问题解答❓

Q1: Cradle需要什么样的硬件配置？

A: 推荐配置：CPU i7以上，16GB RAM，支持CUDA的GPU（可选）。最低配置：CPU i5，8GB RAM。

Q2: 支持哪些LLM模型？

A: 目前支持OpenAI GPT系列、Claude系列，以及Azure OpenAI服务。

Q3: 如何扩展新的技能类型？

A: 继承 cradle/environment/skill.py 中的Skill基类，实现execute方法即可。

Q4: 性能瓶颈在哪里？

A: 主要瓶颈在图像识别和LLM响应时间，可以通过缓存和批量处理优化。

总结与展望🔮

Cradle框架代表了通用计算机控制AI代理的最新进展。通过统一的视觉-动作接口、动态技能生成和强大的记忆系统，它为构建智能、自适应的计算机控制代理提供了完整的解决方案。

核心优势总结：

• ✅ 统一的接口设计，支持多种应用场景
• ✅ 动态技能生成，无需手动编码所有操作
• ✅ 强大的记忆系统，实现经验复用
• ✅ 完善的错误处理和自我修复机制
• ✅ 活跃的社区支持和持续更新

无论您是想要自动化日常办公任务，还是构建复杂的游戏AI代理，Cradle都为您提供了强大而灵活的工具集。现在就开始您的通用计算机控制AI代理开发之旅吧！✨

注：本文基于Cradle框架的最新版本编写，具体实现细节可能随版本更新而变化，请参考官方文档获取最新信息。

【免费下载链接】Cradle项目地址: https://gitcode.com/GitHub_Trending/cradle/Cradle