GPT-5.6 DeepSWE v1.1 表现 — 在真实代码库中完成长周期工程任务

DeepSWE 是什么

DeepSWE v1.1 是一项专门评估在真实代码库中完成长周期工程任务的基准测试。它不像简单的代码生成题那样给你函数签名然后写实现，而是模拟真实的工程师工作：

• 给你一个真实的开源代码仓库
• 给你一个 issue（"修一下这个 bug"、"加一下这个功能"）
• 你需要自己定位相关文件、理解代码、修改、测试、提交 PR

这更接近真实的编程工作流程，也更能反映模型在生产环境中的实际能力。

测试规模

DeepSWE v1.1 涵盖多个主流开源项目：

• Django、Flask、React、TensorFlow 等知名项目的真实 issue
• 每个任务平均涉及 3-8 个文件修改
• 需要运行测试套件验证修复正确性
• 正确答案不是"过测试"，而是"被项目维护者接受为合理修复"

GPT-5.6 成绩

GPT-5.6 Sol 在 DeepSWE v1.1 上创下了行业顶尖成绩。OpenAI 没有公布精确百分比，但多个第三方独立测试（Artificial Analysis、VulcanBench）一致表明：

• Sol + max 的通过率显著超越前代任何模型
• 在需要跨多个文件、理解复杂依赖关系的任务上，优势尤为明显
• Terra 在中低难度任务上的表现已接近 Sol + max，成本更低

关键能力提升

相比 GPT-5.5，GPT-5.6 在 DeepSWE 类型任务上的核心提升：

更强的跨文件理解

• 自动追踪函数/类在多个文件间的引用关系
• 理解大型代码库的架构模式（如 MVC、微服务）
• 不依赖显式的"请阅读 A 文件"指令

工具使用的自主性

• 自主决定运行哪些测试、如何解释测试结果
• 根据测试失败信息调整修复方向，而不是盲目重试
• 在需要时自主搜索代码、理解第三方库用法

更长的工作上下文

• 可以在一次长对话中保持对大型代码库的整体认知
• 不容易在多轮修改中"遗忘"早期假设
• 修改多个文件时能保持代码风格一致

真实反馈

Cursor 总裁 Oskar Schulz：

"GPT-5.6 是在 CursorBench 上测试过的能力最强的模型之一。在任务持久性、智能水平及整体效率方面的提升，对开发者而言是令人振奋的一步。"

Qodo（代码审查工具）联合创始人 Itamar Friedman：

"GPT-5.6 是在智能体代码审查测试中评估出的能力最为突出的模型。在各项对标的内外 PR 基准测试中，它的 F1 分数超越了 GPT-5.5，而每个 PR 消耗的 Token 减少了约 3 倍，中值延迟降低了约 2 倍。"

Ramp 应用 AI 软件工程师 Ian Tracey：

"给人的感觉不再像是一个聊天助手，而更像是一个端到端的工程技术专家。它能够审视运行中的系统、调试问题、修改代码、验证结果、发布产出物，并在长对话中保持极强的背景关联性。"

使用建议

如果你在构建编程智能体，GPT-5.6 的选型建议：