AI 截图转网页代码单独使用已经很有用,但在复杂任务里,和 AI 图片理解与识别组合起来效果更好。本文给出一套可以直接照做的组合流程。

两个技能各自负责什么

  • 截图转代码:截图转代码是把网页、App 界面或手绘草图的图片交给支持图像理解的 AI,让它生成对应的 HTML/CSS 或前端组件代码。
  • 图片理解:图片理解是把照片、截图、图表或手写内容发给支持图像输入的 AI 助手,让它描述内容、识别文字、解释图表、找出问题或回答与图片相关的问题。

截图转代码有效是因为多模态模型能识别图片中的布局、组件和文字,并把它们转换成结构化的代码;你得到一个可运行的起点,再在此基础上修改;图片理解有效则是因为很多信息以图片形式存在,比如报错截图、商品照片、白板笔记;多模态模型能同时理解图像和文字,让你直接对着图片提问。两者叠加,正好互补。

组合流程

  1. (截图转代码)准备清晰的截图或草图,必要时标注关键尺寸和交互。
  2. (截图转代码)要求 AI 先描述它识别到的布局结构,再生成代码。
  3. (图片理解)拍照或截图时保证清晰,关键区域完整、光线充足。
  4. (图片理解)说明你想从图片中得到什么,而不是只发一张图。
  5. (收尾)检查代码中的图片、字体和文字内容,替换为你有权使用的素材。

组合模板

以运维工程师的场景为例,先用下面的模板完成截图转代码部分:

截图转组件的迭代流程:
第 1 轮:识别结构,输出组件树(不写代码)
第 2 轮:按组件树生成代码,技术栈:[框架],样式方案:[方案]
第 3 轮:我会发送运行效果截图,请对比原图列出差异并修正
第 4 轮:补充交互:[例如按钮悬停、表单校验]
第 5 轮:整理代码,拆分可复用组件,删除未使用的样式
要求:颜色和间距提取为变量,方便统一修改。

然后再按图片理解的思路补一轮,例如:截图时尽量只截需要的区域,减少干扰信息。

示例

以下为虚构示例:

示例(虚构):一位开发者把手绘的登录页草图拍照上传。AI 先描述“顶部标题、两个输入框、一个按钮、底部注册链接”,然后生成了一份响应式的 HTML/CSS。运行后他只调整了按钮颜色和字体大小,就得到了可以演示的原型。

组合之后,图片理解这一环的价值在于:图片理解的准确度受图片质量影响很大。

组合使用时的注意事项

  • 把常用的组件代码保存下来,形成自己的组件库。
  • 图片模糊或只拍了一部分。应对方法:重新拍摄清晰、完整的图片,必要时分区域多拍几张。
  • 两个技能叠加会让提示词变长,先确认单独使用时各自有效,再组合。

功能类技能的关键在于知道什么时候调用它、给它什么材料,以及怎样检查它的结果。各家产品的入口和名称可能不同,但思路相通。

什么时候不必组合

任务简单、一次就能得到满意结果时,单独用截图转代码就够了。组合的意义在于解决单一技能处理不好的问题,比如结果不稳定、需要多轮加工或要交给他人复用。先确认问题出在哪,再决定加哪一项技能。

相关阅读