AwesomeREA.org

2026 · 会议已接收

ProgramBench：语言模型能否从零重建程序？

ProgramBench: Can Language Models Rebuild Programs From Scratch?

John Yang; Kilian Lieret; Jeffrey Ma; Parth Thakkar; Dmitrii Pedchenko; Sten Sootla; Emily McMilin; Pengcheng Yin; Rui Hou; Gabriel Synnaeve; Diyi Yang; Ofir Press

通过 200 项任务评估黑盒程序重建：智能体运行可执行文件进行探测并阅读文档，再独立实现代码库，由生成的测试检查其行为。

研究范围与局限

推理阶段禁止检查二进制内容、反编译和访问互联网。通过有限测试不能证明完整行为等价或恢复了原始源码。实时榜单中的后续运行结果应与所审阅 arXiv 版本的结果区分。

与本合集的关联

为通过实验恢复软件行为提供可执行基准，与允许静态二进制分析的评测互为补充。

发表与核查详情

发表载体
NeurIPS 2026
发表状态
会议已接收
出版／提交日期
2026 年（具体日期未核实）
日期依据
NeurIPS 2026 官方海报列表确认会议接收；不推定论文集的出版日期。
arXiv 首次提交
2026 年 5 月 5 日
arXiv
2605.03546
已核对的 arXiv 版本
v1
DOI
10.48550/arXiv.2605.03546

NeurIPS 列出 2026 年 12 月的海报报告；本条记录接收状态，不视为论文集已出版。2026 年 7 月的 DL4C 口头报告属于另一次非存档研讨会展示。DOI 指向 arXiv 预印本。固定版本的评测程序为 1.2.5，采用 MIT 许可；生成测试数据集保留逐任务署名与上游许可条款，包括衍生部分的 copyleft 义务。

来源核查于

本合集仅核对来源，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

一手来源

  1. https://arxiv.org/abs/2605.03546
  2. https://arxiv.org/html/2605.03546v1
  3. https://neurips.cc/virtual/2026/poster/139090
  4. https://neurips.cc/Downloads/2026
  5. https://dl4c.github.io/papers/
  6. https://dl4c.github.io/callforpapers/
  7. https://programbench.com/
  8. https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/README.md
  9. https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/docs/README.md
  10. https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/pyproject.toml
  11. https://github.com/facebookresearch/ProgramBench/blob/895f65916bc5ba34a915d36da321fde0301125ad/LICENSE
  12. https://huggingface.co/datasets/programbench/ProgramBench-Tests/blob/de0ddfb637590c7ecb54fa0b5301f6dc7dfbcee5/README.md