2017 · 会议论文
从视频中学习游戏引擎
Game Engine Learning from Video
从游戏录像中学习二维游戏的基于规则的前向模拟器。系统借助提供的精灵图集，用 OpenCV 定位每帧中的精灵；匹配后的精灵被转换为人工设计的事实类型，包括动画、位置、相对距离、x 与 y 方向速度及镜头偏移。随后 Game Engine Search 逐帧扫描，每当当前引擎预测的下一帧与真实帧的差异超过阈值时，便对引擎进行贪心搜索：新增或修改“条件—效果”规则，或将规则标记为玩家控制。引擎按像素误差与规则数量排序。在一段《超级马力欧兄弟》1-1 关卡视频上训练后，所学引擎预测另一位玩家视频帧的准确度高于 CNN 帧预测器与沿用上一帧的基线，基于它进行规划的价值迭代智能体，其表现与使用 Infinite Mario 引擎原生前向模拟的智能体无显著差异。
研究范围与局限
评测只涵盖一款游戏的一个关卡：训练使用《超级马力欧兄弟》1-1 关卡的一段“速通玩家”视频（1,569 帧），测试使用同一关卡的“探索型玩家”视频。帧解析依赖爱好者制作的精灵图集与人工编写的事实类型，作者也指出这使方法较难应用于真实视频等更复杂的领域。所学引擎是通过搜索得到的、描述屏幕上精灵行为的规则集合，并非恢复的游戏代码或二进制；它不表示玩家死亡与关卡切换，1-1 关卡中未出现的机制也不应期望能够迁移。阈值较低时搜索可能很慢，在 2013 年的 iMac 上单个关卡最长需两周，报告的实验使用零阈值。CNN 比较使用缩小后的灰度帧，游戏表现比较则通过 Infinite Mario 引擎中的智能体间接进行。
与本合集的关联
补充一种基于搜索、从游戏录像重建游戏规则的方法，与本节基于神经网络及大语言模型的世界模型与代码合成研究互补。
发表与复核详情
- 发表载体
- IJCAI 2017
- 发表状态
- 会议论文
- 出版／提交日期
- 2017 年 8 月
- 日期依据
- IJCAI 提交的 Crossref 记录将印刷出版日期记为 2017 年 8 月，本条目按月精度记录。IJCAI 论文集页面未给出具体出版日，本条目也不以会议日期替代。
- DOI
- 10.24963/ijcai.2017/518
IJCAI 论文集页面与 7 页 PDF 给出三位作者、IJCAI-17 主赛道及第 3707–3713 页；Crossref 记录的作者与 DOI 与之一致。论文未链接代码、学得的引擎或解析数据，《超级马力欧兄弟》录像与爱好者制作的精灵图集均属第三方材料。本次未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。