AwesomeREA.org

2024 · 会议论文

通过蒙特卡洛树搜索引导大语言模型生成代码世界模型

Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search

Nicola Dainese; Matteo Merler; Minttu Alakuijala; Pekka Marttinen

GIF-MCTS 根据环境的自然语言描述与离线状态转移轨迹生成可执行的 Python 状态转移和奖励模型，并利用预测反馈生成、改进和修复代码。CWMB 评估 18 个强化学习环境及后续规划；另一个实验使用简化的 Read to Fight Monsters 网格世界。

研究范围与局限

假设环境动态具有确定性、状态完全可观测，并且描述足够详细；并非仅凭像素或二进制进行恢复。准确率使用合成过程中提供的回放转移，并结合规划回报评估，不能证明所有未见状态上的正确性或完整引擎等价。RTFM 在不同回合间固定手册内容，并让怪物保持静止。CWMB 也包含非游戏的控制与物理任务；部分规划回报未给出，复杂连续状态模型仍然困难。

与本合集的关联

展示如何借助测试反馈，将类游戏环境中的已记录规则和已观察转移转为可执行行为模型。它可补充游戏重建研究，但不声称恢复原始引擎、图形或资产。

发表与复核详情

发表载体
NeurIPS 2024
发表状态
会议论文
出版／提交日期
2024 年（具体日期未核实）
日期依据
正式 NeurIPS 论文集及出版方提交的 Crossref 记录给出 2024 年。不推定出版月份或日期，也不把会议举办日期当作出版日期。
arXiv 首次提交
2024 年 5 月 24 日
arXiv
2405.15383
DOI
10.52202/079017-1933

核查的是正式论文集版本，页码 60429–60474。其中的 WorldCoder 基线依据首个 arXiv 版本，而非后续修订版。Apache-2.0 仓库提供提示词、回放缓冲区文件和评估脚本；随附 RTFM 采用 CC BY-NC 4.0。固定版本评估器对奖励类别作平衡加权，按下一状态分量给予部分分数，跳过终止转移的下一状态核对，并允许 RTFM 返回有效动作集合的非空子集；连续状态采用 1e-5 的相对和绝对容差。因此该分数不是严格的完整转移匹配率。规划脚本默认运行两个回合，而论文报告十个回合。复现需要面向 Linux 的 Conda/Python 3.10 环境、Gymnasium/MuJoCo 及模型访问权限。本次未执行上游代码、加载序列化缓冲区或调用模型。

来源复核于

本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

一手来源

  1. https://proceedings.neurips.cc/paper_files/paper/2024/hash/6f479ea488e0908ac8b1b37b27fd134c-Abstract-Conference.html
  2. https://proceedings.neurips.cc/paper_files/paper/2024/file/6f479ea488e0908ac8b1b37b27fd134c-Paper-Conference.pdf
  3. https://api.crossref.org/works/10.52202/079017-1933
  4. https://arxiv.org/abs/2405.15383
  5. https://sites.google.com/view/code-world-models/home
  6. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/README.md
  7. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/LICENSE
  8. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/RTFM/LICENSE
  9. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/environment.yml
  10. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/mcts/gif_mcts/simulators/simulator_cwm.py
  11. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/cwm_benchmark/generate_env.py
  12. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/src/experiments/eval_cwm_planning.py
  13. https://github.com/nicoladainese96/code-world-models/blob/e17e787b41137793bcef9f860bdfe9e6fc07b768/data/prompts/rtfm/generate.md