2023 · 预印本
二进制代码摘要：ChatGPT／GPT-4 及其他大语言模型的基准评测
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
BinSum 评测大语言模型以自然语言概括二进制函数的能力。作者使用 GCC 7.5 将 44 个 GNU 项目编译为 x86、x64、ARM 和 MIPS 架构、-O0 至 -O3 优化级别的二进制，把 557,664 个二进制函数与开发者注释匹配作为参考摘要，并以原始字节、汇编、IDA 微码，以及带或不带符号的反编译代码等形式呈现每个函数。GPT-4、ChatGPT、Llama 2 与 Code Llama 使用从 320 个由 GPT-4 生成的候选中选出的提示词，并以经过微调的 BinT5 作为基线；输出以嵌入相似度并结合 BLEU、METEOR 与 ROUGE-L 评分。反编译代码是最有用的表示形式，剥离符号会使平均相似度分数从 0.449 降至 0.202。
研究范围与局限
参考摘要是从源码中提取的开发者注释，作者指出这些注释可能与代码不一致。基于 all-mpnet-base-v2 的嵌入相似度和 n-gram 指标衡量的是与这些注释的接近程度，而非摘要是否正确或对分析人员有用；论文未报告人工评估。所有二进制均为使用同一 GCC 版本构建的开源 GNU 程序，作者指出固件、恶意软件和混淆代码不在覆盖范围内。提示词基于随机抽取的 1,000 个函数选出。结果对应 2023 年 6 月的 gpt-4-0613 与 gpt-3.5-turbo-16k-0613 快照，以及 7B 和 13B 规模的 Llama 2 与 Code Llama 模型，不能据此对当前模型排名。
与本合集的关联
补充一个专门针对二进制函数自然语言摘要的大规模基准；该任务在本书目的其他条目中仅作为更广泛二进制分析基准的一部分出现。
发表与复核详情
- 发表载体
- arXiv
- 发表状态
- 预印本
- 出版／提交日期
- 2023 年 12 月 15 日
- 日期依据
- arXiv v1 首次提交日期；未找到后续版本、期刊引用信息或会议论文集出版记录。
- arXiv 首次提交
- 2023 年 12 月 15 日
- arXiv
- 2312.09601
- 已复核的 arXiv 版本
- v1
审阅了 arXiv v1，即唯一版本，其中没有注释、期刊引用信息或 DOI；在 Crossref 中检索未找到经同行评审的版本。论文称代码与数据集发布于 github.com/xinjin95/BinSum，但在所审阅的提交（最后推送于 2023-12-18）中，该仓库只有一个 README，其 Dataset 章节写着“Coming soon”。仓库没有许可证文件，其 arXiv 徽章显示错误的编号 2312.02120，链接却指向 2312.09601。因此不记录代码链接。作者报告共消耗 4,058,297,977 个推理词元、11,418 美元模型运行费用和 873 个 A100 GPU 小时。本次未下载数据，也未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。