2026 · 会议论文
解构协同：软件逆向工程中人类与 LLM 协作的实证研究
Decompiling the Synergy: An Empirical Study of Human–LLM Teaming in Software Reverse Engineering
研究人类分析人员在静态软件逆向工程中如何借助 LLM 辅助开展工作。作者依据对 153 名从业者的问卷，在带插桩的 IDA Pro 插件中实现六项 LLM 功能；随后 48 名参与者（自报新手与专家各 24 名）分析两个 CTF 风格的二进制程序，其中一道随机指定的题目启用这些功能。基于评分后的解题报告、交互日志和问卷，作者报告 18 项发现：新手的理解程度提升约 98%，达到专家水平，而专家收益甚微；已知算法函数的分诊速度最高提升 2.4 倍，产物恢复量至少增加 66%；同时也出现了有害的幻觉。
研究范围与局限
这是一项关于 LLM 辅助分析的人类研究，并非对自主智能体或 LLM 反编译准确率的评测。研究使用两个未经混淆、各含 26 个函数的 C 语言题目，仅允许在 IDA Pro 中进行静态分析（不能使用调试器或符号执行），提示词由研究团队编写，模型可在 GPT-4o、GPT-4o-Mini、GPT-4-Turbo、Claude-3-5-Sonnet 与 Gemini-Pro 中选择。2024–2025 年的实验在 51 名参与者中保留 48 名；专业水平为自报，理解程度是由两名研究人员按评分细则给解题报告打出的分数。LLM 直接生成的产物与理解程度提升无相关性；三名 LLM 用户报告了一个由 LLM 提示、实际并不存在的缓冲区溢出，而“查找漏洞”功能与理解得分呈负相关。个人观察记录、解题报告和问卷回答均不公开，也不接受申请；汇总数据仅可申请获取。
与本合集的关联
衡量反编译器内的 LLM 辅助如何改变人类逆向工程的结果，与仅评测智能体的研究互补。论文指出，精选目录收录的 DAILA 是其研究插件持续维护的版本。
发表与复核详情
- 发表载体
- NDSS 2026
- 发表状态
- 会议论文
- 出版／提交日期
- 2026 年（具体日期未核实）
- 日期依据
- Internet Society 提交的 Crossref 元数据与 NDSS 官方论文标明出版年份为 2026。PDF 页脚标注研讨会于 2026 年 2 月 23–27 日举行；不根据会议举办日期推定更精确的出版日期。
- DOI
- 10.14722/ndss.2026.240380
九位作者的顺序以 PDF、NDSS 论文页和 Crossref 为准。PDF 写作“Adam Doupé”，Crossref 与论文页写作“Doupe”；论文页还将 Ruoyu Wang 列为 Ruoyu “Fish” Wang。PDF 页脚标注 ISBN 979-8-9919276-8-0 及 DOI；Crossref 未列出页码，本条目未核实页码范围。未找到 arXiv 版本。论文脚注 1 与开放科学一节链接 mahaloz/dec-synergy-study。所审阅的 2026-07-22 快照声明采用 BSD-2-Clause，包含两道题目（源码、二进制、IDA 数据库与求解程序）及研究基础设施：一个 pwn.college Dojo 模块，以及 DAILA 的研究版本 REaLLM。REaLLM 需要 Python 3.10+、libbs 2.9.1 与 dailalib 3.15.6；要使用研究中的功能，还需另行获得许可的 IDA Pro 9 安装，以及用户自己的 OpenAI、Anthropic 或 Gemini API 密钥。基础设施 README 说明了 Docker 构建步骤和 dojo.patch，但该快照中没有这些文件。论文对已知算法加速幅度的表述不一：摘要为最高 2.4 倍，引言为 238%，发现 7 则称专家在四个函数上至少快 248%。发现 6 将 p = 0.4 的结果称为统计显著，而论文设定的显著性阈值为 α = 0.05。这些数字均由作者报告。本次未运行上游代码，也未复现实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。
一手来源
- https://www.ndss-symposium.org/ndss-paper/decompiling-the-synergy-an-empirical-study-of-human-llm-teaming-in-software-reverse-engineering/
- https://www.ndss-symposium.org/wp-content/uploads/2026-f380-paper.pdf
- https://doi.org/10.14722/ndss.2026.240380
- https://api.crossref.org/works/10.14722/ndss.2026.240380
- README.md GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b
- LICENSE GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b
- infrastructure/README.md GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b
- infrastructure/reallm-plugin/setup.cfg GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b
- infrastructure/reallm-plugin/reallm/__init__.py GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b
- challenges GitHub · mahaloz/dec-synergy-study · 修订 aef1c5b