2024 · 预印本
借助 WebSight 数据集实现网页截图到 HTML 代码的转换
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset
WebSight 是一个合成数据集，含 200 万份与整页截图配对的 HTML 文档，用于训练截图到 HTML 的模型。Mistral-7B-Instruct 生成网站构思，Deepseek-Coder-33B-Instruct 以 HTML 加 Tailwind CSS 编写每个页面，图片来自基于关键词的图库链接，经过筛选后由 Playwright 渲染截图。该 v0.2 版本取代了含 82.3 万对样本的 v0.1，后者使用传统 CSS，并以彩色矩形代替图片。作者用 DoRA 在该数据上微调了 8B 视觉语言模型 Sightseer，并展示了定性转换示例，其中包括一个由手绘草图转换的例子。
研究范围与局限
这些网站均为大语言模型生成的合成单页，并非爬取的真实网站，因此基于其训练并不能证明可以重建真实网站、其源码或其行为。评估仅为定性：论文未报告基准分数；由于验证损失与输出质量不一致，检查点通过人工检查选取；作者也指出模型在复杂布局、长文本以及与训练数据差异较大的设计上会失败，并存在 Tailwind 语法错误。v0.2 页面通过 CDN 链接加载 Tailwind CSS，并从 source.unsplash.com 链接加载图片，因此重新渲染依赖这些外部服务。基础模型当时尚未发布，该报告也未经同行评审。
与本合集的关联
补充后续网站重建研究（包括 Design2Code 与 Web2Code）所依托的合成截图到 HTML 训练数据集。
发表与复核详情
- 发表载体
- arXiv
- 发表状态
- 预印本
- 出版／提交日期
- 2024 年 3 月 14 日
- 日期依据
- arXiv v1 首次提交日期；未找到后续版本、期刊引用信息或会议论文集出版记录。
- arXiv 首次提交
- 2024 年 3 月 14 日
- arXiv
- 2403.09029
- 已复核的 arXiv 版本
- v1
审阅了 arXiv v1，即唯一版本，这是一份技术报告，没有注释、期刊引用信息或 DOI；在 Crossref 中检索未找到经同行评审的版本。项目链接将 Hugging Face 数据卡固定在 b11f817 修订版（最后修改于 2024-03-26）。数据卡声明 CC BY 4.0，要求用户遵守源内容的许可证，并在发布训练所得模型时披露使用情况；其中详细记录了 v0.1，而 v0.2 的划分规模与构建章节仍标为“TO DO”。论文未链接代码或 Sightseer 权重，因此不记录代码链接。本次未下载数据集，也未运行代码或实验。
来源复核于
本合集仅做来源复核，未重新运行论文实验。请通过原始论文或 BibTeX 引用原作者。