GPT-5.6 计算机使用能力 Computer Use 详解
什么是 Computer Use
Computer Use 是让 AI 智能体像人一样操作真实电脑界面的能力。它不是调用 API，而是：
- 截屏获取当前桌面状态
- 用视觉模型理解界面元素（按钮、菜单、输入框、窗口）
- 生成操作指令（点击、输入、滚动、拖拽）
- 执行指令并反馈新的界面状态
- 循环直到任务完成
这使得 GPT-5.6 能够操作任何有界面的应用——即使那个应用没有 API。
工作原理
用户指令："把下载文件夹里的 15 张产品截图按产品名分类归档"
↓
GPT-5.6 Sol（规划 + max 推理）
↓ 生成计划
↓
┌─────────────────────────────────┐
│ 步骤 1：打开文件管理器 │
│ 步骤 2：定位下载文件夹 │
│ 步骤 3：按文件名分类 │
│ 步骤 4：创建目标文件夹 │
│ 步骤 5：批量移动文件 │
└─────────────────────────────────┘
↓
每步执行：截图 → 理解 → 执行 → 反馈GPT-5.6 的 Computer Use 提升
相比 GPT-5.5，GPT-5.6 在 Computer Use 上的进步：
| 维度 | GPT-5.5 | GPT-5.6 |
|---|---|---|
| OSWorld 2.0 | 约 40% 准确率 | 62.6% SOTA |
| Token 效率 | 基准 | 减少 85% |
| 视觉理解精度 | 容易混淆相似按钮 | 精准定位 |
| 动作规划长度 | 单步动作多 | 多步规划、更少重试 |
| 跨应用切换 | 容易迷路 | 稳定维护上下文 |
可用的操作
GPT-5.6 的 Computer Use 可以执行：
| 操作类型 | 示例 |
|---|---|
| 鼠标 | 点击、双击、右键、拖拽、滚动 |
| 键盘 | 输入文字、快捷键、组合键 |
| 窗口 | 打开、关闭、最小化、最大化、切换 |
| 文件 | 搜索、打开、移动、重命名、删除 |
| 截图 | 截取全屏或区域、保存、分享 |
| 浏览器 | 打开网址、标签管理、表单填写 |
典型场景
场景一：批量数据录入
"打开 CRM 网页版，把这 50 行 Excel 客户信息录入进去。"
GPT-5.6 Sol 可以：
- 并行打开 Excel 和浏览器
- 理解每一行的字段含义
- 自动填入表单、点击提交
- 处理表单验证错误（如必填项缺失）
- 记录已完成的进度
场景二：PDF 数据提取
"从这 20 份发票 PDF 中提取发票号、金额、日期、客户名，整理成一张汇总表。"
GPT-5.6 可以：
- 打开 PDF 阅读器逐份查看
- 理解 PDF 中的表格和布局
- 用 Excel 或 Google Sheets 整理结果
- 交叉验证数据一致性
场景三：跨平台数据迁移
"把旧版企业内网 HR 系统的员工目录导出到新版系统。旧系统只有网页界面、没有 API。"
GPT-5.6 可以：
- 在旧系统中逐页浏览员工记录
- 理解页面布局、提取关键字段
- 在新系统中逐条录入
- 维护迁移进度表
在 ChatGPT 中的使用
Computer Use 在以下产品中可用：
ChatGPT Work
在 ChatGPT Work 界面中，选择"使用电脑"模式后，GPT-5.6 可以：
- 直接操作你的桌面应用
- 跨应用协调工作流
- 长时间后台运行
ChatGPT 桌面应用（Windows / macOS）
桌面端内置了 Computer Use 能力。Windows 发行说明提到：
"附加屏幕截图：现在，你可以立即截取屏幕截图并将其插入聊天中。屏幕截图使用'截图工具'截取，因此你可以方便地选择截取窗口、整个屏幕或自定义区域。"
API 调用
如果你想在自己的应用中集成 Computer Use，可以使用 Responses API：
response = client.responses.create(
model="gpt-5.6-sol",
input=[
{"role": "user", "content": "帮我把这个文件夹里的文件重命名"}
],
tools=[
# Computer Use 工具
{"type": "computer_use", "display_width": 1280, "display_height": 720}
]
)安全边界
使用 Computer Use 时需要注意：
权限控制
- 桌面端：Computer Use 默认需要用户确认每次关键操作
- API 端：建议在隔离的虚拟机中运行，不要直接操作生产环境
- 高危操作：删除文件、执行脚本、权限变更等需要额外确认
不要让它碰的场景
- 包含商业机密或隐私数据的敏感应用
- 生产环境的服务器管理界面
- 安全相关设置（防火墙、账号权限）
- 银行、支付类应用
人工监督原则
Computer Use 应该被视为辅助工具而非"全自动替身"：
- 首次使用某个任务时，全程监督
- 确认无误后再考虑让它在后台运行
- 设置断点，遇到关键节点暂停确认
Computer Use vs API 调用
| 维度 | Computer Use | API 调用 |
|---|---|---|
| 覆盖范围 | 任何有界面的应用 | 只有公开 API 的应用 |
| 速度 | 慢（多步交互） | 快（直接调用） |
| 成本 | 高（每步消耗 Token） | 低（一次调用） |
| 可靠性 | 中等（受 UI 变化影响） | 高（稳定接口） |
| 适合 | 无 API 的应用、一次性任务 | 有 API 的应用、批量自动化 |
最佳实践：能用 API 就用 API。Computer Use 是最后一道防线——当没有 API、又确实需要自动化的时候。