OSWorld 2.0 GPT-5.6 成绩 — 桌面操作能力大幅超越前代
OSWorld 是什么
OSWorld 是评估 AI 智能体在完整桌面环境中执行真实任务的基准测试。不同于只操作浏览器的 BrowseComp,OSWorld 测试的是:
- 窗口管理(打开、最小化、切换、关闭)
- 多应用协作(浏览器 + 文件管理器 + 文本编辑器)
- 系统设置修改
- 文件搜索和管理
- GUI 应用的复杂操作
模拟的任务包括:
"打开浏览器搜索某个产品的评价页面,截图后保存到桌面的 'reviews' 文件夹,然后打开 Excel 统计截图数量。"
GPT-5.6 成绩
| 模型 | OSWorld 2.0 准确率 | 相对 GPT-5.5 | Token 消耗 |
|---|---|---|---|
| GPT-5.6 Sol | 62.6% | 大幅超越 | 减少 85% |
| GPT-5.5 旗舰 | 约 40% | — | 基准 |
| Claude Opus 4.8 | 约 55% | — | 更多 |
最惊人的数据不是准确率,而是Token 消耗减少 85%——GPT-5.6 Sol 在完成更多正确任务的同时,只用了前代约 15% 的 Token。
为什么 Token 骤降
GPT-5.6 在 OSWorld 上的 Token 效率提升来自:
更短的动作序列
GPT-5.5 完成同样任务可能需要 20-30 个动作步骤(每步都要生成新的指令、调用 Computer Use、接收屏幕反馈),而 GPT-5.6 只需要 5-10 步。
更好的"视觉理解"
GPT-5.6 对桌面截图的理解更准确:
- 更快地定位按钮、菜单、输入框
- 不易被干扰元素(弹窗、广告、其他窗口)误导
- 更准确地理解当前应用的状态
更少的试错
GPT-5.5 在 OSWorld 中的常见失败模式:
- 点错按钮 → 被迫回退 → 反复尝试
- 找不到菜单 → 在错误的路径上浪费多个动作
- 操作顺序错误 → 需要从头开始
GPT-5.6 更少出现这些低级错误,因此不需要大量的"重试 Token"。
Computer Use 能力
OSWorld 的核心是 Computer Use——让 AI 智能体直接在你的电脑上操作。这是 GPT-5.6 最具革命性的能力之一:
- 不只是调用 API,而是像人一样操作真实界面
- 跨应用协同(浏览器、Office、IDE、文件管理器)
- 能够处理"没有 API 可用"的场景(比如操作企业内部专有软件)
实际工作流示例
假设任务是"把 2025 年公司年报 PDF 的第 3、7、12 页数据录入 Excel 表格":
GPT-5.5 风格(约 30 步动作):
- 打开 PDF 阅读器
- 找文件 → 点击打开 → 等待加载
- 滚到第 3 页 → 截图 → 等 AI 分析 → 输入到 Excel → 切回 PDF
- 重复第 3、7、12 页 → 中途有几步走错路径 → 回退重试
- 总计约 30 个动作步骤
GPT-5.6 Sol 风格(约 8 步动作):
- 打开 PDF 阅读器 + Excel(并行)
- 在 PDF 中快速定位第 3、7、12 页(一次动作内完成多页跳转)
- 用表格提取能力一次性理解三页数据
- 一次将整理好的数据输入 Excel
- 总计约 8 个动作步骤,Token 消耗仅 GPT-5.5 的 15%
使用场景
个人场景
- 整理文件:按类别归档到不同文件夹
- 批量操作:重命名、移动、解压
- 信息录入:从网页/PDF/图片录入到表格
- 截图整理:从多个应用截图、自动命名归档
企业场景
- 数据迁移:从旧系统界面人工导出到新系统
- 发票处理:从 PDF 发票提取数据到会计系统
- 报表生成:从 CRM 和 Excel 汇总生成周报
注意事项
Computer Use 能力强大但也有局限:
- 速度较慢:每个动作都需要生成指令 → 执行 → 截图反馈,比直接调用 API 慢很多
- 稳定性依赖 UI:如果目标应用 UI 变化大,可能需要更多引导
- 安全风险:让 AI 直接操作你的电脑,请在非敏感环境下试用
- 成本考量:Computer Use 的每次操作都消耗 Token,批量场景建议先用 Luna + low 试跑