https://ai.wujiong.cc/tags/llm-%E5%BA%94%E7%94%A8/Recent content in LLM 应用 on AI 观察Hugozh-CNSat, 17 Oct 2026 18:09:00 +0800https://ai.wujiong.cc/posts/2026-10-17-eval-small-team-golden-set/Sat, 17 Oct 2026 18:09:00 +0800https://ai.wujiong.cc/posts/2026-10-17-eval-small-team-golden-set/<p>小团队搭建 AI 评测金标准集，不需要一开始就做到上千条。更务实的做法是：<strong>从真实用户请求中挑出几十条有代表性的样本，为每条写好参考答案和评分标准，用它来比较每一次提示词或模型的改动，然后随着问题出现逐步扩充。</strong></p> <h2 id="什么是金标准集">什么是金标准集</h2> <p>金标准集是一组输入和对应的「好答案应该是什么样」的标准。它的作用不是给模型打一个绝对分数，而是让你在修改提示词、换模型、调整检索策略时，能快速判断变好还是变坏。公开基准测试衡量的是通用能力，而金标准集衡量的是你的应用在你的场景中表现如何。</p>