Terminal-Bench 2.1 GPT-5.6 成绩 — ultra 模式 91.9% 创历史纪录

Terminal-Bench 2.1 是什么

Terminal-Bench 2.1 是由 Terminal Labs（Cursor 母公司）开发的基准测试，专门衡量 AI 智能体在真实终端环境中完成复杂命令行工作流的能力。

与只输出代码片段的测试不同，Terminal-Bench 2.1 要求模型：

• 在隔离的 Linux 容器中自主操作终端
• 运行命令、解析输出、根据结果调整策略
• 处理包含多个独立步骤的完整工作流
• 正确应对错误、权限问题和环境限制

任务示例（来自官方题库）：

"找到 /var/log 下最近 7 天内被修改过、且包含 'ERROR' 关键词的 .log 文件，统计每个文件中 ERROR 的出现次数，按次数降序排列后输出前 10 个文件名和计数。"

GPT-5.6 成绩

GPT-5.6 Sol 在 Terminal-Bench 2.1 上取得了系列历史最高分：

为什么 ultra 效果更好

Terminal-Bench 2.1 的很多任务天然适合多智能体并行：

• 部分任务可以拆分为独立的子命令并行执行
• Critic 角色可以验证每个子命令的输出，防止低级错误连锁放大
• Planner 可以在执行过程中根据早期结果动态调整后续命令序列

测试覆盖范围

Terminal-Bench 2.1 测试的命令类型包括：

• 文件系统操作：ls、find、grep、awk、sed、管道组合
• 版本控制：git log、git diff、git stash、git rebase
• 包管理：apt、pip、npm、go mod
• 进程管理：ps、kill、top、systemctl
• 网络工具：curl、wget、ping、netstat
• 文本处理：sort、uniq、wc、cut、tr
• Docker 操作：docker run、docker build、docker compose
• 数据库：psql、mysql、redis-cli 基础操作

实际意义

Terminal-Bench 2.1 成绩高意味着 GPT-5.6 在以下场景有显著优势：

• DevOps 自动化：部署流水线、服务器维护脚本
• 调试辅助：线上问题排查、日志分析、容器管理
• CI/CD 脚本编写：自动生成和优化构建脚本
• Shell 脚本重构：将低效的 shell 脚本改写为更清晰的版本
• 云服务操作：AWS/GCP/Azure CLI 命令组合

与 Coding Agent Index 的关系

Terminal-Bench 衡量的是操作终端的能力，Coding Agent Index 衡量的是写代码的能力。两者互补：

• 一个模型在 Terminal-Bench 上的高得分，说明它不仅能写代码，还能正确运行和验证代码
• Coding Agent Index 只看代码本身的质量，Terminal-Bench 额外看代码能不能跑、跑出来的结果对不对
• 两者都是评估编程智能体时必须参考的基准

实战技巧

如果你让 GPT-5.6 Sol 帮你写 Shell 脚本或操作命令：

1. 明确上下文：告诉模型当前目录、用户权限、操作系统（Linux/macOS/Windows WSL）
2. 给出期望输出：脚本应该生成什么结果
3. 限制危险操作：对于 rm、chmod 等破坏性命令，要求模型先用 dry-run 版本验证
4. 在 terra 环境下预跑：先用 Terra + high 档位生成初稿，验证通过后再升级到 Sol + max 做优化