少样本示例怎么选?一份避免误导模型的挑选清单
少样本(few-shot)示例的质量往往比示例数量更重要。 选错示范,模型会稳定复现你的错误格式;选对了,比空喊「请输出 JSON」有效得多。
什么时候需要 few-shot
- 输出格式固定但用文字很难说清。
- 分类标签含义容易歧义(如「紧急」的边界)。
- 语气或结构有品牌规范。
若任务极其简单,零样本加格式说明可能就够,不必硬塞示例。
挑选清单
- 标签与字段名和线上一致:示例里叫
priority,线上却用紧急度,等于教错词表。 - 覆盖难例与易例:至少各一条边界样本,避免全是「完美教科书」。
- 故意错误的反例要标注:若展示坏例子,必须标明「反例,不要学」。
- 长度接近真实输入:示例都是 20 字,真实输入 2000 字,格式会漂。
- 敏感信息不进示例:用虚构数据,并在文中标注示意。
操作步骤
- 从真实日志抽 20–50 条,人工标金标准。
- 按「易 / 中 / 难」分层,每层挑 1 条进提示词。
- 固定示例顺序,做一次小评测再改。
- 线上分布变了就轮换示例,避免过拟合旧数据。
示例提示词片段(示意)
请按下列示例的字段与口径分类。示例均为虚构。
示例1:…… → {"label":"A","reason":"..."}
示例2:…… → {"label":"B","reason":"..."}
现在处理:【输入】
只输出 JSON,字段与示例完全一致。
常见坑
- 示例互相矛盾,模型随机跟从。
- 用名人语录当「好文风」,与你的业务语域无关。
- 把评测集原样塞进提示词,造成虚假高分。
落地检查
上线前用「含示例」与「不含示例」各跑同一批盲测题,看格式遵守率是否真的提升。示例集单独版本管理,改一个标签就升版本号。发现线上出现新的高频难例,替换最旧的那条示例,而不是无限追加导致上下文膨胀。
若任务涉及歧视风险标签,示例要经人工伦理与法务审,不能只图「好分类」。
相关阅读:提示词变量模板库、先澄清再回答,更多见 AI 技能分类。
写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。
写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。
写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。
写完模板后,建议在真实场景试运行一次,把含糊句子改成你们行话,并删掉任何模型编造的数字、法规条款号或保证措辞。把终版存入共享文档并注明适用日期,避免同事继续使用过期口径。