多模态表格字段抽取：截图到结构化 JSON 的稳妥流程
把报名表截图直接丢给模型读一下，常字段错位。更稳：先定 schema→抽取→校验→人工确认不确定项。
流程
- 定义 JSON schema
- 提示：只输出 JSON；看不清就 null
- 规则校验日期与必填
- 低置信进人工队列
- 抽样回看原图
提示词骨架
从图像提取下列字段，只输出 JSON。
看不清或不确定填 null，不要猜测。
schema：{ ... }
坑
- 不要让模型补全常识
- 印章手写区单独策略
- 隐私图像注意存储与访问控制
置信与人工队列
模型很少真的「知道自己看不清」，所以要用规则与抽检兜底：必填为空、校验失败、或字段间逻辑冲突（如日期先后）时进入人工。提示词要求 null，是为了减少瞎猜，不能替代队列。
隐私
表单常含身份信息。图像与 JSON 的存储期限、访问权限要先定。能在边缘设备完成的，就不要默认上传公网。
与传统 OCR 流水线
版面稳定的打印表，经典 OCR+规则可能更稳更便宜；版面多变、含印章手写时，多模态更有价值。无论哪条路，schema 与人工队列都需要。评估时看字段级错误，不只看「好像读出来了」。
小结
字段抽取的产品目标通常是少让人录入，而不是零人工。设计时预留人工队列与抽检，上线才不会被幻觉拖垮。把 null 策略与校验规则写进验收标准，比只看演示视频可靠。
对金额与身份证号等字段，校验规则要更严，并考虑是否值得进入更高权限的人工池。
补充实践
批量处理时加幂等键与重试策略，避免同一张图被抽两次写入两套冲突 JSON。冲突以人工裁决为准并回写规则。
落地时建议你先小范围试用一周，把卡点记下来再改模板。不要指望一篇文章覆盖所有例外；把例外写进你们团队的备注区即可。与同事对齐时，优先示范一次完整流程，比只发链接更有效。本文主题「vision form field extract」只提供方法骨架，细节以你的现场约束为准。
上线初期抽检比例可以高一些，稳定后下调，但不要降到零。字段错误成本高的场景（支付、身份），抽检应长期保留。给运营一份「常见错位样例册」，人工会更快。
对模糊拍照，先在客户端做清晰度检测，不达标就提示重拍，比后端硬猜更友好。
重拍提示文案要短、可执行，例如「请让表格四角入镜」。这样能减少后端无效调用，也降低隐私图片的无效上传。