不确定时拒答提示:教模型说「证据不足」而不是硬编
拒答是能力,不是失败。 客服、医疗邻域问答、内部知识库场景里,「不知道」往往比自信胡答更有价值。
写清三类触发
- 证据不足:检索未命中或材料互相矛盾。
- 权限不够:用户要的是他人隐私或未授权数据。
- 范围外:要你做诊断、下单、法律责任结论等。
提示词核心
当你无法基于提供材料给出高置信答案时:
1) 明确说「目前证据不足,不能确定」
2) 列出缺失的信息类型(不是编造答案)
3) 给出用户可执行的下一步(补充材料 / 转人工 / 查询入口)
禁止:用语气词掩盖不确定;禁止伪造来源。
对范围外请求:拒绝并说明边界,不提供可被直接滥用的操作步骤。
和占位符模式
可先拒答,或输出带【待核】的草稿——产品策略二选一。占位符见 引用占位符模式。
评测
用一组「故意缺证据」的题测拒答率;只测普通题会低估胡编风险。量规思路见 量规评分。
产品层怎么接拒答
UI 上把拒答分成「证据不足」「政策禁止」「需登录权限」三种样式,便于运营看漏斗。模型只负责分类与话术骨架,具体转人工路由由业务规则完成。评测集必须含诱导胡编题(「随便猜一个也行」),看是否仍拒答。
对内部员工工具,可允许「低置信继续」开关并打审计日志;对外部用户默认关闭。拒答话术避免官腔嘲讽,提供下一步。这样拒答会变成可信度资产,而不是「机器人没用」的槽点。
话术要可执行
「我不知道」后面应接「你可以补充××」或「请联系××人工坐席」。空拒答会逼用户换更诱导的问法。对医疗、法律、投资邻域,拒答阈值应更敏感,并声明非专业意见。
用日志抽样看:被拒答后用户是否改问法绕过——若是,加强范围外检测,而不是放宽胡答。拒答与占位符不要同时滥用,选一种主策略,另一种作辅。
与检索失败的分工
检索失败应先重试或换查询,仍失败再拒答;不要第一次未命中就拒答得过狠,也不要无限放宽。把「失败码」传给模型,让它说人话。对高风险域,宁可多拒答。示意产品策略需按业务合规调整。 拒答提示要写进系统提示与评测,而不是口头叮嘱一次。把它当成一等能力维护。示意话术请按品牌语气调整。
把拒答率当成健康指标之一:过低可能在胡答,过高可能检索太差。结合满意度一起看,而不是单边加压。示意指标需按业务定义阈值。