2025 · 会议论文
面向 Android 恶意软件分析的代码大语言模型基准评测
On Benchmarking Code LLMs for Android Malware Analysis
CAMA 是一个评测代码大语言模型理解反编译 Android 恶意软件能力的基准框架。它使用 Androguard 将每个 APK 反编译为 Java 函数，并要求模型为每个函数输出结构化结果：功能摘要、改进后的函数名以及 0–10 分的恶意程度评分。两项分析任务以这些输出为基础。恶意函数识别以一致性（模型依据自身摘要再次作答时评分与命名是否稳定）和保真度（移除评分最高的函数描述后，LightGBM 恶意软件类别分类器的置信度下降多少）衡量；恶意软件用途摘要则以语义相关性（与参考应用描述之间的 BLEU、METEOR 和 ROUGE-L）衡量。基准包含来自 6 个类别、13 个家族的 118 个 APK，共 7,542,799 个反编译函数。在四个受测模型中，StarChat-Beta 的恶意程度一致性最高（0.813，CodeLlama 为 0.381），语义相关性得分也以微弱优势居首；保真度则随模型和移除数量大幅波动。用模型建议的名称重命名函数会提高 CodeLlama 和 StarChat 的保真度，但会使 METEOR 下降约 10%。
研究范围与局限
这是一篇 8 页的研讨会论文，评测四个开源代码大语言模型：CodeLlama-7b-Instruct、StarChat-Beta 以及基础规模的 CodeT5 和 PLBART，并非当前的前沿模型。CodeT5 与 PLBART 经过三轮微调后才能输出所需字段，其恶意程度评分由另一个 DeepSeek-R1-Distill-Llama-70B 模型给出，因此基于评分的结果并非单独衡量这两个模型；二者也未纳入重命名实验。研究缺少函数级真实标签：恶意函数识别通过分类器置信度间接衡量，参考应用描述则是此前 LAMD 数据集中由 GPT-4 生成的摘要；作者指出这些替代方法可能引入噪声与偏差。118 个样本是经过去重的 LAMD 恶意软件，仅使用 Androguard 反编译，也未单独研究混淆的影响。保真度得分的标准差与均值相近，例如 CodeT5 在 k = 2 时为 0.332 ± 0.30。Zenodo 记录保存的是结构化模型输出（函数摘要、改进名称与恶意程度评分）；该记录与 LAMD 记录均未说明包含 APK 样本。CAMA 不是恶意软件检测系统，也不是反编译器。
与本合集的关联
补充一个评测代码大语言模型阅读反编译 Android 恶意软件的基准，与书目中 DeGuard 的标识符恢复研究以及 USENIX Security 2024 代码分析研究中的单个 Android 案例互补。
发表与复核详情
- 发表载体
- ISSTA Companion 2025 (LLMSC Workshop)
- 发表状态
- 会议论文
- 出版／提交日期
- 2025 年 6 月 11 日
- 日期依据
- ACM 提交的 Crossref 元数据将在线出版日期及发布日期列为 2025-06-11，纸质出版日期为 2025-06-25，即 6 月 25–28 日会议的首日。本条目采用出版方的在线出版日期，不以 arXiv 日期替代。
- arXiv 首次提交
- 2025 年 4 月 1 日
- arXiv
- 2504.00694
- 已复核的 arXiv 版本
- v2
- DOI
- 10.1145/3713081.3731745
ACM 提交的 Crossref 元数据列出 ISSTA Companion '25 论文集、第 153–160 页、CC BY 4.0 许可，以及顺序相同的七位作者；arXiv v2 PDF 印有 ACM 引用格式与 DOI。研讨会名称依据 arXiv 注释与 Zenodo 说明，二者均称论文被第 34 届 ACM SIGSOFT ISSTA Companion 的 LLMSC Workshop 2025 接收；Crossref 只列出配套论文集名称。arXiv v1 发布于 2025-04-01，v2 为 2025-04-23。论文未链接代码仓库，因此 code_url 为 null。其输出发布为 Zenodo 数据集 10.5281/zenodo.15155917（2025-04-05，CC BY 4.0，710 MB 的 CAMA.zip，未下载）；该数据集 DOI 不用作论文标识符。样本与参考描述来自 LAMD 数据集 10.5281/zenodo.14884736，其 2 MB 压缩包被描述为 CSV 样本信息与日志。ACM 页面拒绝自动请求，因此本次审阅依据 Crossref 与 arXiv PDF。本次未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。