2025 · 会议论文
BinMetric：面向大语言模型的综合二进制代码分析基准
BinMetric: A Comprehensive Binary Code Analysis Benchmark for Large Language Models
BinMetric 提供六类二进制分析任务共 1,000 道题目：调用点重建、反编译、函数签名恢复、二进制代码摘要、算法分类与汇编指令生成。题目取自 20 个开源 C 项目：项目针对 x86-64 编译、剥离符号并经 IDA Pro 处理，再借助 DWARF 信息与源码对齐。作者使用单样例提示评测来自五个模型家族的 12 个大语言模型，并在适用任务上与 IDA Pro 反编译器、LLM4Decompile、BinT5 和 HexT5 对比。
研究范围与局限
得分是针对孤立代码片段的题目级指标，并不代表端到端逆向工程流程或智能体工具使用能力。预处理需要 IDA Pro，所有二进制均是在 Ubuntu 22.04 上以各项目默认编译设置构建的 x86-64 程序；未研究其他架构、优化级别变化或混淆。多数任务以 Rouge-L、BLEU、METEOR 或 CodeBLEU 衡量文本重合度，因而并不检验语义等价；只有汇编生成任务检查能否编译及测试用例执行结果，其平均执行通过率低于 1%。摘要标签由 ChatGPT 生成后经人工审核；算法分类使用取自单一算法项目的 80 个片段。数据泄露筛查依赖网页精确匹配搜索。被评测模型均早于 2025 年（包括 gpt-3.5-turbo-16k-0613 与 gpt-4-0613），最大长度设为 8,192 个词元，因此排名只反映当时情况。
与本合集的关联
补充一个涵盖二进制提升、语义恢复、算法识别与汇编合成的多任务基准，与单一任务的反编译及智能体基准互补。
发表与复核详情
- 发表载体
- IJCAI 2025
- 发表状态
- 会议论文
- 出版／提交日期
- 2025 年 9 月
- 日期依据
- IJCAI 组织向 Crossref 提交的元数据给出出版月份为 2025 年 9 月；论文集页面的引用元数据另给出 2025-09-16。本条目采用两处来源均载明的月份，不使用 8 月 16–22 日的会议日期。
- arXiv 首次提交
- 2025 年 5 月 12 日
- arXiv
- 2505.07360
- 已复核的 arXiv 版本
- v1
- DOI
- 10.24963/ijcai.2025/858
论文集中的标题为“Binary Code Analysis Benchmark”；arXiv 唯一版本 v1 的标题为“A Comprehensive Binary Analysis Benchmark for Large Language Models”，是 23 页的扩展版本，备注称将发表于 IJCAI 2025。论文集 PDF、页面元数据与 Crossref 一致给出八位作者顺序、DOI 及主会第 7715–7723 页。论文集 PDF 与 arXiv v1 均未链接代码、数据或排行榜。GitHub 上一个同名仓库自称为该 IJCAI’25 基准，但未声明许可证，论文也未链接它，因此不将其记录为作者提供的代码。各任务题目数分别为调用点重建 70 道、反编译 250 道、签名恢复 250 道、代码摘要 250 道、算法分类 80 道、汇编生成 100 道。本次未下载基准数据，也未运行实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。