# Binary BPE Tokenizer for Executable Analysis 可执行文件分析分词研究

> Binary BPE Tokenizer for Executable Analysis 研究面向 Transformer 二进制分析的 ELF、PE、Mach-O 和 APK 字节对编码。仓库包含论文源文件、4K 至 64K 词表、Python 评测脚本和样本压缩包。作者报告 64K 词表平均每个 token 对应 2.89 字节。

- 类型：研究
- 目标：应用 · 二进制
- 类别：原生分析工具
- 关联：学习资源
- 来源复核于：2026-11-06
- 收录于：2026-11-06
- 原始资源：<https://github.com/mjbommar/binary-tokenizer-paper>
- 一手来源：<https://github.com/mjbommar/binary-tokenizer-paper/blob/7ef1ec7739a37437c229423847c04d9295c82a0e/README.md>
- 目录页面：<https://awesomerea.org/zh/resources/binary-bpe-tokenizer-research/>
- 记录 JSON：<https://awesomerea.org/resources/binary-bpe-tokenizer-research/record.json>
- 英文版：[English](https://awesomerea.org/resources/binary-bpe-tokenizer-research/index.md)

## 使用条件与局限

- **前提条件：**需要 Python 3.10 或更高版本及 uv；编译论文还需要 TeX Live 2023 或更高版本。
- **前提条件：**从头训练分词器可选用 Rust 1.70 或更高版本。
- **许可：**仓库中没有许可证文件。

## 一手来源

1. <https://github.com/mjbommar/binary-tokenizer-paper/blob/7ef1ec7739a37437c229423847c04d9295c82a0e/README.md>

## 同分区更多条目：文档与学习资源

- [Assassin's Creed III 在线服务协议文档](https://awesomerea.org/zh/resources/ac3-online-service-docs/index.md) · 文档
- [AC4 docs《刺客信条 IV：黑旗》在线服务协议文档](https://awesomerea.org/zh/resources/ac4-docs/index.md) · 文档
- [eRepublik API Documentation 网页客户端接口资料](https://awesomerea.org/zh/resources/erepublik-api-documentation/index.md) · 文档
- [Garmin Strength Workout API 力量训练接口参考](https://awesomerea.org/zh/resources/garmin-strength-workout-api/index.md) · 文档
- [Substack API Reference（非官方）接口参考](https://awesomerea.org/zh/resources/substack-api-reference/index.md) · 文档
- [hyperscan-homebrew Mattel HyperScan 硬件研究笔记](https://awesomerea.org/zh/resources/hyperscan-homebrew/index.md) · 文档

## 关于此条目

说明已依据一手来源复核。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。