AwesomeREA.org

2025 · 会议论文

Nova：结合层次注意力与对比学习的汇编代码生成式语言模型

Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning

Nan Jiang; Chengxiao Wang; Kevin Liu; Xiangzhe Xu; Lin Tan; Xiangyu Zhang; Petr Babkin

Nova 是面向 x86-64 汇编的生成式大语言模型，从 DeepSeek-Coder 检查点出发，以 AnghaBench 与 The Stack 代码经 gcc -O0 至 -O3 编译、剥离符号并规范化后的汇编训练。它加入为每条指令构建摘要的层次注意力，以及对比学习目标：使同一函数的源码与 O0–O3 汇编表示彼此接近，并按优化级别排序。针对反编译微调后，Nova-1.3B 与 Nova-6.7B 在 HumanEval-Decompile 上的平均 Pass@1 分别为 25.17% 和 34.36%，比同规模 LLM4Decompile 高 14.84 和 12.41 个百分点；另行微调的模型在六个真实项目上的 O0 对 O3 二进制代码相似性检测中取得最高的平均 Recall@1。

研究范围与局限

反编译以函数为单位，在 HumanEval-Decompile 的 164 个 C 问题上评测；每个问题在 O0–O3 下编译为 x86-64，每个函数采样 20 次并以题目测试用例运行。基于这些测试的 Pass@k 既不能证明整程序反编译能力，也不能证明等价性。除 LLM4Decompile 与 Nova 外，其他基线采用三样例提示而非微调。相似性结果针对 O0 查询与 O3 候选，候选池为来自 Binutils、Curl、ImageMagick、SQLite、OpenSSL 与 PuTTY 的 50–500 个函数，模型先在 BinaryCorp-3M 上微调。反编译微调使用抽样的 216 万对数据，README 称仅从 The Stack 获取 5 万个文件；论文也说明 Nova 仅支持 x86-64 汇编，模型规模限于 1.3B 和 6.7B。输入需要按论文方式规范化汇编。

与本合集的关联

补充一个面向汇编的基础模型，同时评测反编译与二进制代码相似性，与本节专注反编译的大语言模型论文互补。

发表与复核详情

发表载体
ICLR 2025
发表状态
会议论文
出版／提交日期
2025 年（具体日期未核实）
日期依据
采用 ICLR 官方论文集标明的出版年份，不推定更精确的出版日期。论文集页面 2025-05-01 的引用日期未被采用，也不以 arXiv 日期代替。
arXiv 首次提交
2023 年 11 月 22 日
arXiv
2311.13721
已复核的 arXiv 版本
v7

作者以论文集为准，论文集列出第 95905–95926 页。arXiv 共有七个版本：2023-11-22 的 v1 题为“Nova+: Generative Language Models for Binaries”（arXiv 元数据写作 Nova$^+$），列出六位作者，不含 Petr Babkin；本次核查的后续版本（v3、v5、v7）均使用最终标题，2025-11-11 的 v7 注明发表于 ICLR 2025。仓库 README 的摘要称反编译相对提升最高达 146.54%，论文报告的则是绝对百分点。各项许可信息分开记录：所审阅的 2026-01-04 仓库提交附有 BSD 3-Clause LICENSE，Hugging Face 上 nova-1.3b、nova-6.7b 及其 -bcr 反编译变体的模型卡均标注 bsd-3-clause-clear；模型从 DeepSeek-Coder 检查点出发，本条不评估其条款。requirements.txt 为 Python 3.10 环境固定 torch 2.3.0、transformers 4.40.2、vllm 0.5.0 与 deepspeed 0.14.4，训练示例使用四块 GPU。本次未下载模型，也未运行代码或实验。

来源复核于

本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

一手来源

  1. https://proceedings.iclr.cc/paper_files/paper/2025/hash/ef283d62b4bce30854a8d4827f331229-Abstract-Conference.html
  2. https://proceedings.iclr.cc/paper_files/paper/2025/file/ef283d62b4bce30854a8d4827f331229-Paper-Conference.pdf
  3. https://arxiv.org/abs/2311.13721
  4. https://arxiv.org/abs/2311.13721v1
  5. README.md GitHub · lt-asset/nova · 修订 6dfaf43
  6. LICENSE GitHub · lt-asset/nova · 修订 6dfaf43
  7. requirements.txt GitHub · lt-asset/nova · 修订 6dfaf43
  8. https://huggingface.co/lt-asset/nova-1.3b/blob/4b4805bac4f13ef8bec678072ef60609ea3b0e77/README.md
  9. https://huggingface.co/lt-asset/nova-6.7b/blob/dd808302b3f5929c29e8940f4e0c0e4cc38a5a63/README.md
  10. https://huggingface.co/lt-asset/nova-1.3b-bcr/blob/9101c192eb22bbb982ebe94830385cedee5b78e0/README.md
  11. https://huggingface.co/lt-asset/nova-6.7b-bcr/blob/69a8ccd089abc902b7ce9b4e17298a887fbe3626/README.md