2025 · 会议论文
EnIGMA：交互式工具显著帮助语言模型智能体发现安全漏洞
EnIGMA: Interactive Tools Substantially Assist LM Agents in Finding Security Vulnerabilities
EnIGMA 在 SWE-agent 基础上面向 CTF 题目进行扩展：交互式智能体工具可在多轮之间保持 gdb 调试会话或 pwntools 服务器连接，另有反编译与反汇编命令、用于长输出的语言模型摘要器，以及按题目类别编写的示例和指导。论文使用四种语言模型，在 NYU CTF、InterCode-CTF、Cybench 及作者收集的 HackTheBox 题集共 390 道题目上评测；还对工具、摘要器和示例做消融实验，并分析解答泄露和“自言自语”（soliloquizing）现象，即模型不与环境交互而自行编写观察结果。
研究范围与局限
各基准混合了密码学、取证、二进制漏洞利用、逆向工程、Web 与杂项任务（390 道题中有 104 道为逆向工程），因此 NYU CTF 上 13.5% 等总体解题率并不等于逆向工程准确率。分类别表格报告，使用 Claude 3.5 Sonnet 时，NYU CTF 中 51 道逆向工程题的解题率为 17.65%。结果采用 pass@1，每道题成本上限为 3 美元，使用 2024 年的模型（GPT-4 Turbo、GPT-4o、Claude 3.5 Sonnet 与 LLaMA 3.1 405B Instruct）；NYU CTF 基线对比采用 pass@5。许多题目存在公开题解，作者对泄露和“自言自语”的度量属于启发式方法；在 21 道较晚发布的 CSAW 2024 题目上，最佳配置解出 2 道。解出 CTF 题目表明获得了 flag，而非恢复了程序结构或源码。
与本合集的关联
评估交互式调试和连接工具如何影响智能体在包含逆向工程的 CTF 任务上的表现，与本节中专门针对逆向工程的基准互补。
发表与复核详情
- 发表载体
- ICML 2025
- 发表状态
- 会议论文
- 出版／提交日期
- 2025 年 10 月 6 日
- 日期依据
- PMLR 说明第 267 卷于 2025 年 10 月 6 日出版，与论文页面 citation_publication_date 所载 2025/10/06 一致；本条目不采用 2025 年 7 月 13–19 日的会议日期。
- arXiv 首次提交
- 2024 年 9 月 24 日
- arXiv
- 2409.16165
- 已复核的 arXiv 版本
- v3
16 位作者的顺序以 PMLR 页面和 arXiv 记录为准；PMLR 元数据写作“Carlos E Jimenez”和“Karthik R Narasimhan”，PDF 印作“Carlos E. Jimenez”和“Karthik Narasimhan”。PMLR 列出页码 246–355，未提供 DOI；arXiv v3 备注为“ICML 2025”。SWE-agent README 仍引用较早的 arXiv 标题“EnIGMA: Enhanced Interactive Generative Model Agent for CTF Challenges”。PMLR 的软件链接指向会变动的 v0.7 分支；所审阅的分支头 084d5d1（2025-04-28）采用 MIT 许可证，并说明使用 Docker 镜像 sweagent/enigma:latest 运行题目。当前 main 分支 README 称，在 EnIGMA 更新至 1.0 期间应使用 SWE-agent 0.7。项目网站链接了运行轨迹（MIT）；另一个基准仓库仅重新格式化了 Cybench 与 InterCode-CTF，版权仍归原作者，因此并未提供 HackTheBox 题集。表 9 中 NYU 智能体的总体解题率 3.00 与 4.00 与正文所述顺序相反。本次未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。
一手来源
- https://proceedings.mlr.press/v267/abramovich25a.html
- https://raw.githubusercontent.com/mlresearch/v267/main/assets/abramovich25a/abramovich25a.pdf
- https://proceedings.mlr.press/v267/
- https://arxiv.org/abs/2409.16165
- https://arxiv.org/abs/2409.16165v3
- https://enigma-agent.com/
- README.md GitHub · SWE-agent/SWE-agent · 修订 084d5d1
- LICENSE GitHub · SWE-agent/SWE-agent · 修订 084d5d1
- docs/usage/enigma.md GitHub · SWE-agent/SWE-agent · 修订 084d5d1
- README.md GitHub · SWE-agent/SWE-agent · 修订 3ea751c
- LICENSE GitHub · enigma-agent/trajectories · 修订 431dda6
- README.md GitHub · enigma-agent/benchmarks · 修订 c632a3c