GPT-5.6 Sol ExploitBench 成绩 — 安全漏洞研究能力大幅提升
ExploitBench 是什么
ExploitBench 衡量 AI 模型从发现漏洞到实现任意代码执行的完整能力。它的难度在于:
- 给定一段存在安全漏洞的源代码
- 模型需要理解漏洞原理
- 构造输入触发漏洞
- 实现从漏洞触发到任意代码执行的完整攻击链
这不仅是"找到 bug",而是"理解漏洞→构造 PoC→开发 exploit"的全流程能力。
GPT-5.6 Sol 成绩
| 模型 | ExploitBench 得分 | 输出 Token 预算 |
|---|---|---|
| GPT-5.6 Sol | 73.5% | 相近输出 Token |
| GPT-5.5 旗舰 | 47.9% | — |
| Claude Fable 5 | 约 65% | — |
73.5% vs 47.9% —— 提升了超过 25 个百分点。这是在相近 Token 预算下的对比,说明 GPT-5.6 的安全研究能力提升是效率驱动的,而非靠"多烧 Token 换更高分"。
ExploitGym 补充验证
ExploitGym 要求模型将真实世界漏洞转化为能够运行的漏洞利用程序:
| 限制时间 | GPT-5.6 Sol 通过率 | GPT-5.5 通过率 |
|---|---|---|
| 2 小时 | 24.9% | 15.1% |
| 6 小时 | 33.7% | — |
2 小时内的通过率从 15.1% 提升到 24.9%,接近翻倍。这说明 GPT-5.6 不仅做得更好,做得更快。
为什么 GPT-5.6 安全能力强
OpenAI 总结了 GPT-5.6 在安全领域领先的关键因素:
- 更强的长周期推理:漏洞研究需要追踪复杂代码路径、理解数据流向、构造触发条件
- 更好的代码理解:能从数百行代码中定位安全问题的根因
- 多步攻击链规划:理解"触发漏洞→控制数据流→劫持执行流"的完整链条
- 更高的 Token 效率:在相近 Token 预算下做出更好的攻击
定位:防御优先
OpenAI 明确强调,这些能力首先用于防御:
"GPT-5.6 能够支持安全代码审查、补丁开发、威胁建模及蓝队防御等重要防御任务。"
安全代码审查
GPT-5.6 Sol 可以:
- 批量扫描代码中的安全漏洞(SQL 注入、XSS、CSRF、缓冲区溢出、路径遍历等)
- 分析第三方依赖的漏洞风险
- 提出修复建议并生成补丁
补丁开发
"这个 CVE-2024-XXXX 的漏洞,帮我生成一个补丁,保持 API 兼容性。"
GPT-5.6 可以:
- 理解漏洞根因和影响范围
- 设计最小化修复方案
- 生成补丁代码
- 编写回归测试防止问题复现
威胁建模
"帮我对这个微服务做威胁建模,识别潜在攻击面和风险等级。"
GPT-5.6 可以:
- 分析服务架构和数据流
- 识别可能的攻击向量
- 评估每个风险的可能性和影响
- 给出缓解建议
蓝队防御
在 OpenAI Daybreak 的"网络安全受信访问"计划中,GPT-5.6 Sol 特别支持:
- 漏洞分流与验证
- 恶意软件分析
- 检测工程
- 补丁验证
使用限制:受信访问
重要:为了防止 GPT-5.6 的安全能力被滥用,OpenAI 设置了受信访问(Trusted Access)门槛。
详情参考 Daybreak 受信访问。
网络安全能力边界
GPT-5.6 在网络安全方面的核心优势:
- ✅ 安全代码审查
- ✅ 补丁开发和验证
- ✅ 威胁建模
- ✅ 恶意软件分析
- ✅ 漏洞研究(防御目的)
- ✅ 检测工程(SIEM 规则、WAF 规则、YARA 规则)
GPT-5.6 不能做也不会做:
- ❌ 生成用于攻击的漏洞利用工具
- ❌ 绕过受信访问和内容安全防护
- ❌ 协助非法渗透测试
安全研究工作流示例
假设你是一个安全研究员,需要分析一个新披露的 CVE:
GPT-5.6 Sol + max 可以:
- 阅读 CVE 公告和受影响的源代码
- 定位漏洞根因
- 分析攻击路径和影响范围
- 开发验证性 PoC(证明漏洞存在,非攻击工具)
- 编写修复补丁
- 评估修复是否引入回归
- 输出完整的分析报告
与传统工具的关系
GPT-5.6 不替代传统安全工具(静态分析、动态分析、模糊测试等),而是:
- 在传统工具输出的基础上做深入理解和推理
- 自动化重复性的分析工作(如批量代码审查)
- 作为高级研究员的辅助大脑