随着生成型人工智能（AI）的飞速发展，多模态理解和代码生成的能力达到了前所未有的水平。这为前端开发带来了一场自动化革命，其中多模态大型语言模型（LLMs）有望直接将视觉设计转换为代码实现。
斯坦福和谷歌等单位的研究者将这一任务形式化为Design2Code任务，并对其进行了全面的基准测试。研究人员手动策划了一个包含个多样化的真实世界网页的测试案例，并开发了一套自动评估指标，以评估当前多模态LLMs在将截图作为输入的情况下，能够多么精确地生成直接渲染成给定参考网页的代码实现。此外，还通过全面的人类评估来补充自动指标。研究者开发了一系列多模态提示方法，并展示了它们在GPT-4V和GeminiProVision上的有效性。此外，进一步对一个开源的Design2Code-18B模型进行了微调，成功地达到了与GeminiProVision相匹配的性能。无论是人类评估还是自动指标都显示，GPT-4V在这项任务上的表现优于其他模型。研究者认为，在视觉外观和内容方面，GPT-4V生成的网页可以在49%的案例中替代原始参考网页；而且令人惊讶的是，在64%的案例中，GPT-4V生成的网页被认为比原始参考网页更好。细粒度分解指标表明，开源模型主要在输入网页回忆视觉元素以及生成正确布局设计方面落后，而像文本内容和着色等方面可以通过适当的微调大幅改善。
论文标题：Design2Code:HowFarAreWeFromAutomatingFront-EndEngineering?
论文链接：