2025 · 会议论文
扩散模型即实时游戏引擎
Diffusion Models Are Real-Time Game Engines
GameNGen 以扩散模型而非游戏代码交互式地模拟 DOOM。首先由 PPO 智能体在 ViZDoom 中游玩，记录下从随机策略到训练后期的轨迹作为训练数据。随后微调 Stable Diffusion v1.4，使其根据最近 64 帧画面与动作预测下一帧；训练时向上下文帧加入噪声，以保持长时间自回归生成的稳定，并微调潜空间解码器以改善细节。使用 4 步采样时，它在单个 TPU-v5 上以每秒 20 帧运行。作者报告下一帧预测 PSNR 为 29.43，人工评估者在短片段中辨认出真实游戏的比例为 58%–60%。
研究范围与局限
这是基于已有游戏的录制游玩数据训练的神经近似模型；它不恢复任何游戏逻辑、源码、素材或状态表示，也不是精确模拟。模型只能看到略多于 3 秒的历史，超出该窗口的状态只能依靠屏幕线索和习得的启发式维持，而这些启发式可能出错，例如连续射击可能导致生成敌人。对智能体从未探索过的位置与交互，模拟效果较差。训练使用 128 个 TPU-v5e 设备、7,000 万帧 320×240 的智能体数据，以及针对该环境的奖励函数。PSNR 是在 5 个关卡、2,048 条留出轨迹上以教师强制方式测得的单帧指标；自回归生成在数步后便会偏离真实轨迹。人工评估由 10 名评估者观看 1.6 秒和 3.2 秒片段，以及 150 段较晚时刻的 3 秒片段；作者表示自己常能在几秒内认出模拟画面。只在 DOOM 上做了测试，模型也无法便捷地创建新游戏。
与本合集的关联
补充从游戏过程学习、非符号化地重建游戏交互行为的研究，与本合集中基于代码的世界模型及视觉游戏复刻研究形成对照。
发表与复核详情
- 发表载体
- ICLR 2025
- 发表状态
- 会议论文
- 出版／提交日期
- 2025 年（具体日期未核实）
- 日期依据
- 采用 ICLR 官方论文集标明的出版年份，不推定更精确的出版日期。论文集页面 2025-05-01 的引用日期未被采用，也不以 arXiv 日期代替。
- arXiv 首次提交
- 2024 年 8 月 27 日
- arXiv
- 2408.14837
- 已复核的 arXiv 版本
- v2
作者与标题依据 ICLR 2025 论文集页面及 PDF；论文集列出第 73754–73776 页，PDF 印有“Published as a conference paper at ICLR 2025”，未列出 DOI。arXiv 有两个标题与作者相同的版本：2024-08-27 的 v1 与 2025-04-24 的 v2，后者备注为“ICLR 2025”。OpenReview 论坛 P8pqeEkn1H 因验证页面无法自动获取。项目页面链接了论文与视频，但没有代码或权重，也未找到作者提供的代码发布；本条目不链接非官方复现。论文的可复现性说明依赖开放的 Stable Diffusion v1.4 权重、开源 ViZDoom 环境及文中记录的训练设置。其报告的每秒 50 帧使用经蒸馏的单步模型，画质有所下降。本次仅阅读资料，未训练或运行任何模型。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。