AwesomeREA.org

2024 · 会议论文

Web2Code：面向多模态大语言模型的大规模网页转代码数据集与评估框架

Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs

Sukmin Yun; Haokun Lin; Rusiru Thushara; Mohammad Qazim Bhat; Yongxin Wang; Zutao Jiang; Mingkai Deng; Jinhong Wang; Tianhua Tao; Junbo Li; Haonan Li; Preslav Nakov; Timothy Baldwin; Zhengzhong Liu; Eric P. Xing; Xiaodan Liang; Zhiqiang Shen

通过指令微调和两个评测基准研究从截图重建 HTML。Web2Code 结合生成网页、经改进的 WebSight 与 pix2code 图像／代码对，以及来自 WebSRC 的问答。模型根据网页图像与指令生成 HTML，渲染输出接受视觉比较，另一个基准则测量截图理解能力。

研究范围与局限

评估使用 1,198 张截图和 5,990 个是／否问题。WCGB 用 GPT-4V 评价渲染图像；其“用户界面与交互性”类别衡量元素外观，并不执行点击路径、持久状态或后端行为。合成与改进样本不能确立对任意真实 Web 应用的覆盖、与原始源码等价或代码质量。论文报告，在 1,000 项隐私抽样中，2.7% 存在联系信息问题，因此不能笼统宣称数据完全不含此类信息。

与本合集的关联

提供基础性的视觉重建数据集与评估方法，有助于区分截图保真度与后续网站重建基准所检验的行为保证。

发表与复核详情

发表载体
NeurIPS 2024 Datasets and Benchmarks
发表状态
会议论文
出版／提交日期
2024 年（具体日期未核实）
日期依据
NeurIPS 官方论文集与出版方提交的 Crossref 元数据标明出版年份为 2024；Crossref 未提供更精确的出版日期。arXiv 首次提交日期另行记录。
arXiv 首次提交
2024 年 6 月 28 日
arXiv
2406.20098
已复核的 arXiv 版本
v2
DOI
10.52202/079017-3560

发表于 NeurIPS 第 37 卷，第 112134–112157 页；作者完整姓名以论文集 PDF 为准。仓库仍引用预印本；所审阅 arXiv v2 日期为 2024-11-17。基于 LLaVA 的训练子目录采用 Apache-2.0。数据集许可声明不一致：GitHub README 与数据卡元数据写 MIT，同一数据卡正文却写 CC BY 4.0，并附仅供研究／非商业措辞。不据此推定全部组成数据或模型权重具有统一复用许可。训练元数据要求 Python >=3.8，固定 PyTorch 2.0.1；评估需要浏览器渲染与外部视觉模型 API。本合集未运行训练或评估，也未下载模型或数据集载荷。

来源复核于

本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。

一手来源

  1. https://proceedings.nips.cc/paper_files/paper/2024/hash/cb66be286795d71f89367d596bf78ea7-Abstract-Datasets_and_Benchmarks_Track.html
  2. https://proceedings.neurips.cc/paper_files/paper/2024/file/cb66be286795d71f89367d596bf78ea7-Paper-Datasets_and_Benchmarks_Track.pdf
  3. https://arxiv.org/abs/2406.20098v2
  4. https://arxiv.org/html/2406.20098v2
  5. https://api.crossref.org/works/10.52202/079017-3560
  6. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/README.md
  7. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/web2code/README.md
  8. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/web2code/pyproject.toml
  9. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/web2code/LICENSE
  10. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/code_generation/README.md
  11. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/code_generation/gpt4_vision_evaluation.py
  12. https://github.com/MBZUAI-LLM/web2code/blob/48c356a97dd6199f29a9710fdd2b4b2689b5e361/webpage_understanding/README.md
  13. https://huggingface.co/datasets/MBZUAI/Web2Code/blob/21e587b4509b946e56732fe8c621b17bad631e6b/README.md