少样本(few-shot)示例的质量往往比示例数量更重要。 选错示范,模型会稳定复现你的错误格式;选对了,比空喊「请输出 JSON」有效得多。

什么时候需要 few-shot

  • 输出格式固定但用文字很难说清。
  • 分类标签含义容易歧义(如「紧急」的边界)。
  • 语气或结构有品牌规范。

若任务极其简单,零样本加格式说明可能就够,不必硬塞示例。

挑选清单

  1. 标签与字段名和线上一致:示例里叫 priority,线上却用 紧急度,等于教错词表。
  2. 覆盖难例与易例:至少各一条边界样本,避免全是「完美教科书」。
  3. 故意错误的反例要标注:若展示坏例子,必须标明「反例,不要学」。
  4. 长度接近真实输入:示例都是 20 字,真实输入 2000 字,格式会漂。
  5. 敏感信息不进示例:用虚构数据,并在文中标注示意。

操作步骤

  1. 从真实日志抽 20–50 条,人工标金标准。
  2. 按「易 / 中 / 难」分层,每层挑 1 条进提示词。
  3. 固定示例顺序,做一次小评测再改。
  4. 线上分布变了就轮换示例,避免过拟合旧数据。

示例提示词片段(示意)

请按下列示例的字段与口径分类。示例均为虚构。
示例1:…… → {"label":"A","reason":"..."}
示例2:…… → {"label":"B","reason":"..."}
现在处理:【输入】
只输出 JSON,字段与示例完全一致。

常见坑

  • 示例互相矛盾,模型随机跟从。
  • 用名人语录当「好文风」,与你的业务语域无关。
  • 把评测集原样塞进提示词,造成虚假高分。

落地检查

上线前用「含示例」与「不含示例」各跑同一批盲测题,看格式遵守率是否真的提升。示例集单独版本管理,改一个标签就升版本号。发现线上出现新的高频难例,替换最旧的那条示例,而不是无限追加导致上下文膨胀。

若任务涉及歧视风险标签,示例要经人工伦理与法务审,不能只图「好分类」。

相关阅读:提示词变量模板库、先澄清再回答,更多见 AI 技能分类。

写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。

写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。

写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。

写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。