2024 · 会议论文
NYU CTF Bench：用于评估大语言模型攻击性安全能力的可扩展开源基准数据集
NYU CTF Bench: A Scalable Open-Source Benchmark Dataset for Evaluating LLMs in Offensive Security
NYU CTF Bench 收录 2017–2023 年 CSAW CTF 资格赛与决赛中经人工验证的 200 道题目，涵盖密码学、取证、二进制漏洞利用、逆向工程、Web 与杂项任务，并为题目提供 challenge.json 元数据，为需要服务端的题目提供 Docker 镜像。论文还提出一个自动化框架，通过函数调用为大语言模型提供执行 Shell 命令、创建文件、使用 Ghidra 反汇编与反编译、检查 flag 和放弃求解等工具。论文评测了五种大语言模型，并将其得分与 CSAW 2022 和 2023 的人类参赛队伍比较。
研究范围与局限
200 道题中只有 51 道为逆向工程题（资格赛 31 道、决赛 20 道），因此总体解题率并不等于逆向工程准确率。所有题目均来自同一系列赛事，各类别数量不均衡；最初 567 道题中其余 367 道（包括事件响应类任务）因尚未完成验证而未收录。基线评测中，五次尝试中任意一次成功即算解出，每个模型限时 48 小时，且未进行统计检验。在 GPT-3.5、GPT-4、Claude 3、Mixtral 与 LLaMA 中，逆向工程类最佳解题率为 9.80%（GPT-4），两个开源模型未解出任何题目。与人类的比较基于四场 CSAW 赛事的比赛得分；公开仓库在论文发表后仍持续变化，后续运行未必与论文中的题目集或框架一致。
与本合集的关联
提供一个容器化的公开 CTF 题目集，其中包含逆向工程子集；EnIGMA 等后续智能体研究在其上开展评测。
发表与复核详情
- 发表载体
- NeurIPS 2024 Datasets and Benchmarks
- 发表状态
- 会议论文
- 出版／提交日期
- 2024 年（具体日期未核实）
- 日期依据
- NeurIPS 官方论文集与出版方提交的 Crossref 元数据标明出版年份为 2024；论文集页面的 citation_publication_date 元数据为 2024-12-16，但 Crossref 与出版方说明均未确认该日期，因此仅记录年份。首次提交 arXiv 的日期另行记录。
- arXiv 首次提交
- 2024 年 6 月 8 日
- arXiv
- 2406.05590
- 已复核的 arXiv 版本
- v3
- DOI
- 10.52202/079017-1832
13 位作者的顺序以 NeurIPS 论文集页面、PDF、arXiv 与 Crossref 为准。NeurIPS 第 37 卷列出页码 57472–57498；arXiv v3（2025-02-18）与所审阅的论文集文本一致。NeurIPS 检查清单给出 Zenodo 软件 DOI 10.5281/zenodo.13930622，对应 v20241008 基准发布版本；它是研究产物标识符，并非论文 DOI。所审阅的 NYU_CTF_Bench 快照（2025-09-22）采用 GPL-2.0，包含 200 道题的测试集和 55 道题的开发集，通过会克隆该仓库的 nyuctf Python 包安装，题目需要 Docker。论文中的 llm_ctf_automation 链接现重定向至 NYU-LLM-CTF/nyuctf_agents；其所审阅的 2026-07-17 快照采用 MIT 许可证，除基线外还包含后来的 D-CIPHER 多智能体系统。题目文件沿用原作者的条款。本次未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。
一手来源
- https://proceedings.neurips.cc/paper_files/paper/2024/hash/69d97a6493fbf016fff0a751f253ad18-Abstract-Datasets_and_Benchmarks_Track.html
- https://proceedings.neurips.cc/paper_files/paper/2024/file/69d97a6493fbf016fff0a751f253ad18-Paper-Datasets_and_Benchmarks_Track.pdf
- https://api.crossref.org/works/10.52202/079017-1832
- https://arxiv.org/abs/2406.05590
- https://arxiv.org/pdf/2406.05590v3
- README.md GitHub · NYU-LLM-CTF/NYU_CTF_Bench · 修订 4c5744f
- LICENSE GitHub · NYU-LLM-CTF/NYU_CTF_Bench · 修订 4c5744f
- README.md GitHub · NYU-LLM-CTF/nyuctf_agents · 修订 612190f
- https://zenodo.org/records/13930622