# Glaurung Models 可执行文件分词模型研究

> Glaurung Models 收录面向可执行文件分析的分词器与模型实验。其 64K BPE 分词器以 Latin-1 编码 PE 和 ELF 字节，训练范围涵盖 x86 与 ARM64；附带分析比较了两个分词器学到的 SSE 和 AVX 指令模式。

- 类型：研究
- 目标：二进制
- 类别：原生分析工具
- 关联：学习资源
- 来源复核于：2026-11-06
- 收录于：2026-11-06
- 原始资源：<https://github.com/mjbommar/glaurung-models>
- 一手来源：<https://github.com/mjbommar/glaurung-models/blob/1819020f447d55f55b629b78ba96502edae71715/glaurung_binary_tokenizer_001_README.md>
- 目录页面：<https://awesomerea.org/zh/resources/glaurung-models/>
- 记录 JSON：<https://awesomerea.org/resources/glaurung-models/record.json>
- 英文版：[English](https://awesomerea.org/resources/glaurung-models/index.md)

## 使用条件与局限

- **前提条件：**文档中的分词流程使用 Python 的 tokenizers 和 transformers 包，并将二进制字节转换为 Latin-1。
- **测试证据：**文档报告该 64K 分词器平均每个 token 对应 2.849 字节。
- **许可：**仓库中没有许可证文件。

## 一手来源

1. <https://github.com/mjbommar/glaurung-models/blob/1819020f447d55f55b629b78ba96502edae71715/glaurung_binary_tokenizer_001_README.md>
2. <https://github.com/mjbommar/glaurung-models/blob/1819020f447d55f55b629b78ba96502edae71715/SSE_AVX_ANALYSIS.md>

## 同分区更多条目：文档与学习资源

- [CrackMes 二进制逆向练习题解析](https://awesomerea.org/zh/resources/crackmes-writeups/index.md) · 学习资源
- [Binary BPE Tokenizer for Executable Analysis 可执行文件分析分词研究](https://awesomerea.org/zh/resources/binary-bpe-tokenizer-research/index.md) · 研究
- [Assassin's Creed III 在线服务协议文档](https://awesomerea.org/zh/resources/ac3-online-service-docs/index.md) · 文档
- [AC4 docs《刺客信条 IV：黑旗》在线服务协议文档](https://awesomerea.org/zh/resources/ac4-docs/index.md) · 文档
- [eRepublik API Documentation 网页客户端接口资料](https://awesomerea.org/zh/resources/erepublik-api-documentation/index.md) · 文档
- [Garmin Strength Workout API 力量训练接口参考](https://awesomerea.org/zh/resources/garmin-strength-workout-api/index.md) · 文档

## 关于此条目

说明已依据一手来源复核。
原创说明采用 MIT 许可；外部项目、论文与素材保留各自的权利和许可。