AwesomeREA.org

2025 · 会议论文

Cybench：评估语言模型网络安全能力与风险的框架

Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models

Andy K. Zhang; Neil Perry; Riya Dulepet; Joey Ji; Celeste Menders; Justin W. Lin; Eliot Jones; Gashon Hussein; Samantha Liu; Donovan Jasper; Pura Peetathawatchai; Ari Glenn; Vikram Sivashankar; Daniel Zamoshchin; Leo Glikbarg; Derek Askaryar; Mike Yang; Teddy Zhang; Rishi Alluri; Nathan Tran; Rinnara Sangpisit; Polycarpos Yiorkadjis; Kenny Osele; Gautham Raghupathi; Dan Boneh; Daniel E. Ho; Percy Liang

Cybench 将来自四项竞赛（HackTheBox Cyber Apocalypse 2024、SekaiCTF 2022–23、GlacierCTF 与 HKCert）的 40 道专业级夺旗赛题目整理为可运行的智能体任务。每道题目都包含题目描述、初始文件、供智能体使用的 Kali Linux 容器及以 Docker 运行的题目服务器，并记录首个人类队伍的解题用时（2 分钟至 24 小时 54 分钟）。每道题目还被拆分为若干子任务，用于评估中间步骤。作者使用结构化 bash 智能体评测了八个模型，并为 GPT-4o 与 Claude 3.5 Sonnet 比较了四种智能体框架。在没有子任务引导时，表现最好的智能体只解出了人类首解用时不超过 11 分钟的题目；Claude 3.5 Sonnet 的无引导成功率为 17.5%。

研究范围与局限

40 道题目中只有 6 道属于逆向工程，其余为密码学（16）、Web（8）、取证（4）、杂项（4）与漏洞利用（2），因此总体成功率并不代表逆向工程准确率，Cybench 也不是专门的逆向工程基准。在无引导的结构化 bash 实验中，八个模型中有六到七个解出了两道最简单的逆向题（人类首解用时分别为 2 分钟和 6 分钟），其余四道均无模型解出。结果仅涵盖 2024 年的模型（GPT-4o、o1-preview、Claude 3 Opus、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3 与 3.1、Mixtral 8x22b）及作者的智能体框架：无引导模式 15 轮、子任务模式每个子任务 5 轮，记忆较短，未提供反编译器工具；主比较只尝试一次，框架比较取三次尝试中的最好结果。首解用时来自各竞赛记录，不同竞赛之间不能直接比较。作者依据模型知识截止日期判断训练—测试重叠，无法排除 Claude 3.5 Sonnet 存在重叠。夺旗赛题目是用时较短、代码规模较小的竞赛问题，夺得旗标并不表明恢复了程序结构。

与本合集的关联

补充一个含逆向工程题目并按子任务评分的夺旗赛智能体基准；本节收录的 EnIGMA 也报告了在该基准上的结果，它与本节专门面向逆向工程的基准互补。

发表与复核详情

发表载体
ICLR 2025
发表状态
会议论文
出版／提交日期
2025 年（具体日期未核实）
日期依据
采用 ICLR 官方论文集标明的出版年份，不主张更精确的出版日期。本条目不采用论文集页面中 2025-05-01 的引用日期，也不以 arXiv 日期替代。
arXiv 首次提交
2024 年 8 月 15 日
arXiv
2408.08926
已复核的 arXiv 版本
v4

作者以论文集 PDF 的署名为准，与 arXiv v4 一致。论文集页面元数据则列出 25 人：缺少 Polycarpos Yiorkadjis 与 Gautham Raghupathi，在 PDF 印作 Mike Yang、Teddy Zhang 与 Kenny Osele 之处写作 Haoxiang Yang、Aolin Zhang 与 Kenny Oseleononmen，并省略了中间名缩写。论文集列出页码 25094–25243，没有 DOI。arXiv v1 发布于 2024-08-15，v2 为 2024-10-06，v3 为 2024-12-05，v4 为 2025-04-12；v4 注释为“ICLR 2025 Oral”。OpenReview 论坛页因浏览器验证无法获取，因此口头报告身份依据该注释。论文集摘要链接的是匿名 Google Drive 压缩包，而 PDF 指向 cybench.github.io，该网站链接 andyzorigin/cybench。在所审阅的 2026-09-24 提交中，仓库采用 Apache-2.0 许可证；运行需要模型 API 密钥、Python 3.9–3.10 以及使用 cybench/cybench 镜像的 Docker。其 task_list.txt 列出全部 40 道题目，但九道 GlacierCTF 题目（包括逆向题 RPGO 与 SOP）不在仓库目录中。本次未运行代码或实验。

来源复核于

本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

报告条目过时 建议修正翻译

一手来源

  1. https://proceedings.iclr.cc/paper_files/paper/2025/hash/3e9412a9c1d93810ef3ef7825115016b-Abstract-Conference.html
  2. https://proceedings.iclr.cc/paper_files/paper/2025/file/3e9412a9c1d93810ef3ef7825115016b-Paper-Conference.pdf
  3. https://arxiv.org/abs/2408.08926
  4. https://arxiv.org/pdf/2408.08926v4
  5. https://cybench.github.io/
  6. README.md GitHub · andyzorigin/cybench · 修订 ca483c6
  7. LICENSE GitHub · andyzorigin/cybench · 修订 ca483c6
  8. task_list.txt GitHub · andyzorigin/cybench · 修订 ca483c6
  9. benchmark GitHub · andyzorigin/cybench · 修订 ca483c6
  10. run_task.sh GitHub · andyzorigin/cybench · 修订 ca483c6