AwesomeREA.org

2026 · 预印本

UI2App：评测可执行 Web 应用生成中的视觉交互推断

UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation

Grace Man Chen; Litao Guo; Yifan Wu; Yiyu Chen; Yenchi Tseng; Sicheng Liu; Yuyu Luo; Ying-Cong Chen

UI2App 使用来自 95 个 Web 应用的 600 张截图，评测生成的可运行 React/TypeScript 应用。它通过参考交互分类体系和公开评测流水线，分别衡量构建可执行性、视觉保真度，以及包括跨路由状态在内的截图隐含交互行为。

研究范围与局限

静态截图无法唯一确定行为；评分规则接受多种有效实现，并不证明与原应用或后端等价。Auto IIS 在不执行工具的情况下评判生成源码和截图，人工运行验证覆盖 45 个应用的子集。跨路由状态不一定能在重新加载或会话结束后持久保存。主结果每个应用与模型组合生成一次，重复运行仅覆盖子集。

与本合集的关联

评测从已观察 Web 界面进行重建，并区分视觉复制与交互逻辑推断；其明确的行为歧义边界可补充由交互轨迹指导的重建基准。

发表与复核详情

发表载体
arXiv
发表状态
预印本
出版／提交日期
2026 年 7 月 7 日
日期依据
首次提交至 arXiv 的日期。核查的 v2 于 2026-10-04 提交，不视为另行核实的会议出版。
arXiv 首次提交
2026 年 7 月 7 日
arXiv
2607.06306
已复核的 arXiv 版本
v2
DOI
10.48550/arXiv.2607.06306

采用 v2 的 95 个应用与 600 张截图，不混用 v1 的 45/327 数量。arXiv DOI 已注册。公开代码采用 MIT，数据集和参考标注采用 CC BY 4.0；上游代码及第三方资产权利另行处理。文档所述流水线需要 Python 3.10+、Node/npm、pnpm、Chromium、Tesseract 和模型访问权限；Auto IIS 还需要已登录的 Codex CLI。本次未运行流水线或基准。

来源复核于

本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

一手来源

  1. https://arxiv.org/abs/2607.06306
  2. https://arxiv.org/html/2607.06306v2
  3. https://arxiv.org/pdf/2607.06306v2
  4. https://api.datacite.org/dois/10.48550/arXiv.2607.06306
  5. https://chenmancm169.github.io/UI2App-ProjectPage/
  6. https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/README.md
  7. https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/LICENSE
  8. https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/requirements.txt
  9. https://github.com/chenmancm169/UI2App/blob/520a59aad0899b1eb61e80351aa1ffbfad9322a4/iis/evaluate.py
  10. https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/README.md
  11. https://huggingface.co/datasets/UI2App/UI2App/blob/32e6f6193c5c265cf6d8afcbce12b641e3c2a758/annotations/rii.jsonl