Codex Skill 保姆级教程 1:Computer Use — 让 AI 接管整台电脑
目录
摘要
一、Codex Computer Use 是什么?
1.1 以前 Codex 主要做什么?
1.2 现在 Computer Use 多了什么能力?
二、Codex 电脑操控功能如何开启?
2.1 方法一:通过更新弹窗直接开启
(1)打开 Codex 后出现更新弹窗
(2)点击开始设置即可
2.2 方法二:在设置中手动开启
(1)进入 Codex 设置
(2)找到电脑操控
(3)在任意应用中点击安装
三、如何在对话框中调用 Codex 操作电脑?
3.1 选择 Computer Use 工具
3.2 选择审批模式
3.3 输入任务指令
四、使用时需要注意什么?
4.1 Codex 会看到屏幕内容
4.2 敏感操作需要谨慎审批
4.3 Windows 11 更推荐,Windows 10 可能不稳定
摘要
以前在 Windows 电脑上使用Codex,更多是通过浏览器、项目目录、终端或代码环境来完成开发任务。现在 Codex 的Computer Use 电脑操控功能已经支持 Windows,意味着 Codex 不仅能看代码、改代码、跑命令,还可以像真人一样看屏幕、点按钮、输入文字、切换窗口,直接操作电脑上的应用程序。OpenAI 官方说明中提到,Codex App 支持 Windows,并且可以在 Windows 上通过 PowerShell、Windows 沙箱或 WSL2 运行相关工作流。Computer Use 功能则可以让 Codex 通过“看、点、输入”的方式操作应用。
一、Codex Computer Use 是什么?
1.1 以前 Codex 主要做什么?
之前我们在 Windows 电脑上使用 Codex,更多是把它当成一个AI 编程助手。
它可以帮我们:
- 写代码;
- 修改项目文件;
- 解释报错;
- 生成测试代码;
- 运行终端命令;
- 协助 Git 操作;
- 查看项目结构;
- 分析代码逻辑。
也就是说,以前 Codex 的核心能力主要集中在:
代码、终端、项目文件、浏览器调试。
它很强,但是它的工作范围多数还是围绕“开发环境”展开。
比如你让 Codex 修改一个 C++ 项目,它可以打开项目、改代码、运行测试、分析报错;但如果你想让它去操作 Word、Excel、记事本、微信、画图、浏览器页面或者其他 Windows 应用,以前就没有这么自然。
1.2 现在 Computer Use 多了什么能力?
这次更新最大的变化就是:
Codex 可以直接使用你的电脑。
OpenAI 官方对 Computer Use 的说明是:Codex 可以查看屏幕内容、截取屏幕信息,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。也就是说,它可以像人一样观察界面,然后通过点击、输入、切换窗口等方式完成任务。
简单理解就是:
1. 以前:
你让 Codex 改代码,它主要在项目里工作。
2. 现在:
你可以让 Codex 去操作 Windows 上的应用。
比如:
- 打开浏览器并测试网页;
- 打开 VS Code 修改项目;
- 打开记事本整理文字;
- 打开 Word 处理文档;
- 打开 Excel 整理表格;
- 打开画图或其他软件执行简单操作;
- 在多个软件之间复制、粘贴、整理内容。
以前 Windows 上 Codex 只能在浏览器中实现自主操控,现在整个电脑都可以交给它操作了。
当然,这里的“整个电脑都是它的”不是说完全失控,而是说 Codex 获得了更强的桌面应用交互能力。真正执行时,仍然需要你授权应用、确认审批,并且你可以随时停止。
二、Codex 电脑操控功能如何开启?
2.1 方法一:通过更新弹窗直接开启
(1)打开 Codex 后出现更新弹窗
一般打开 Codex 后,如果你的版本已经推送到了新功能,会出现一个更新或功能介绍弹窗。
弹窗大概会提示:
Codex 移动版上线
或者提示你可以使用新的电脑操控功能。
这个时候直接点击:
开始设置
就可以根据引导继续开启。
Codex 会提示:
只要电脑处于唤醒状态,就可以在手机上通过 ChatGPT 应用继续使用 Codex。
这其实和 Codex 的远程控制、移动端联动有关。OpenAI 官方也提到,用户可以从手机端查看、审批、继续 Codex 的工作,电脑仍然作为项目文件、终端、应用服务器和本地上下文的主机。
(2)点击开始设置即可
如果出现弹窗,最简单的方法就是:
- 打开 Codex;
- 等待弹窗出现;
- 点击“开始设置”;
- 根据提示完成授权;
- 进入电脑操控配置页面;
- 安装对应的 Computer Use 能力。
- 如果暂时不想设置,也可以点击“稍后设置”。
- 不过如果你准备体验 Computer Use,建议直接点开始设置,这样能少走很多路径。
2.2 方法二:在设置中手动开启
(1)进入 Codex 设置
如果你打开 Codex 后没有看到弹窗,也不用担心。
可以手动进入设置页面。
(2)找到电脑操控
进入设置后,在左侧找到:
电脑操控
英文里一般对应:
Computer Use
这个页面的作用是管理 Codex 如何使用你电脑上的其他应用程序。
从截图中可以看到,页面中有一个“控制”区域,里面包括:
- 任意应用;
- Google Chrome。
其中:
任意应用:允许 Codex 控制你电脑上的应用;
Google Chrome:浏览器扩展程序状态,如果没有连接,会显示“浏览器扩展程序未连接”。
OpenAI 官方文档中也说明,需要在 Codex 设置里打开 Computer Use,然后点击 Install 安装 Computer Use 插件,之后才能让 Codex 操作桌面应用。Windows 使用时,需要保持目标应用在当前活动桌面可见。
(3)在任意应用中点击安装
如果你看到“任意应用”右侧有:
安装
那么直接点击安装即可。
安装完成后,Codex 就具备了操作 Windows 应用的能力。
这里要注意:
不是所有应用都应该随便授权;
涉及支付、账号、安全、隐私的软件要谨慎;
尽量只让 Codex 操作当前任务需要的软件;
不要一次性给太多高风险权限。
比如你只是想让 Codex 帮你打开 VS Code 检查项目,就没必要让它去操作微信、网银、密码管理器之类的软件。
三、如何在对话框中调用 Codex 操作电脑?
3.1 选择 Computer Use 工具
开启之后,在 Codex 对话框中就可以看到类似:
Computer Use: Computer Use
这样的工具提示。
这说明当前对话已经可以调用电脑操控能力。
你可以在输入框里直接描述任务,例如:
- 帮我打开 VS Code,运行当前项目;
- 帮我打开 Chrome,测试本地网页是否能正常访问;
- 帮我打开记事本,把这些要点整理成一段文章;
- 帮我打开项目,找到报错位置并修改;
- 帮我打开浏览器,检查页面按钮点击后有没有跳转。
官方文档也提到,可以在提示词中提到@Computer或@AppName,或者直接让 Codex 使用 Computer Use,并说明具体要操作的应用、窗口或流程。
3.2 选择审批模式
从截图里可以看到,在发送任务前,可以选择审批方式。
常见有三类:
请求批准
这种方式最安全。
Codex 在编辑外部文件、访问互联网或执行某些动作之前,会先询问你。
适合新手用户,也适合第一次测试 Computer Use。
替我审批
这种模式相对更自动化。
Codex 只会在检测到风险操作时请求批准。
适合你已经比较熟悉 Codex,并且任务风险较低的情况。
完全访问权限
这种权限最高。
它可以不受限制地访问互联网和电脑上的文件。
这种模式效率高,但风险也最高。
除非你非常确定任务范围,并且已经做好备份,否则不建议随便使用。
OpenAI 官方也提醒,Computer Use 可能会影响项目工作区之外的应用或系统状态,因此应该保持任务范围清晰,并在继续前仔细检查权限提示。
3.3 输入任务指令
开启后,你就可以像正常聊天一样给 Codex 下任务。
比如:
使用 Computer Use 打开 VS Code,进入当前项目,帮我运行程序并检查报错。或者:
打开 Chrome,访问本地前端页面,点击登录按钮,检查是否能正常跳转。或者:
打开记事本,把下面这些零散内容整理成一篇干净的草稿。这里有一个关键点:
任务描述越具体,Codex 操作越稳定。
不建议一上来就说:
帮我操作电脑。四、使用时需要注意什么?
4.1 Codex 会看到屏幕内容
Computer Use 的本质是让 Codex 通过屏幕内容理解当前电脑状态。
所以你要知道:
- Codex 可能会看到当前打开的软件;
- Codex 可能会看到浏览器页面内容;
- Codex 可能会读取目标应用中的文字;
- Codex 可能会使用剪贴板;
- Codex 可能会点击按钮或输入内容。
官方安全说明中也明确提到,使用 Computer Use 时,Codex 可以查看屏幕内容、截屏,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态交互。
所以使用前最好先关闭不相关的软件。
尤其是:
- 微信聊天窗口;
- 邮箱;
- 网银;
- 密码管理器;
- 隐私文件夹;
- 重要账号设置页面;
- 公司内部敏感系统。
这不是说 Codex 一定会乱看,而是使用这类功能时,应该主动降低风险。
4.2 敏感操作需要谨慎审批
使用 Computer Use 时,最好遵守几个原则。
第一,任务要小。
不要一次让它做太大的任务。
比如不要说:
帮我整理整个电脑。而应该说:
帮我打开 D 盘 Code 文件夹,把里面的 C++ 项目按章节命名整理。第二,应用要少。
一次只让它操作一个或少数几个应用。
第三,高风险操作要人工确认。
比如:
- 删除文件;
- 移动大量文件;
- 提交 Git;
- 推送代码;
- 发送邮件;
- 修改系统设置;
- 填写账号密码;
- 执行支付或购买操作。
这些最好都手动确认。
官方文档也建议保持任务范围窄、审查权限提示、对账号安全和隐私相关流程保持在场,并且如果 Codex 开始操作错误窗口,要及时取消任务。
4.3 Windows 11 更推荐,Windows 10 可能不稳定
从实际体验角度看,建议优先在 Windows 11 上开启和测试 Computer Use。
OpenAI 官方已经说明 Codex 支持 Windows App,并且 Windows 版本可以配合 PowerShell、Windows 沙箱或 WSL2 使用。
- Windows 11:更推荐,兼容性更稳;
- Windows 10:可能存在不支持或不稳定情况;
