https://ai.wujiong.cc/tags/%E8%AF%84%E6%B5%8B%E8%84%9A%E6%89%8B%E6%9E%B6/Recent content in 评测脚手架 on AI 观察Hugozh-CNSat, 17 Oct 2026 11:52:20 +0800https://ai.wujiong.cc/posts/2026-10-17-open-weight-eval-harness-setup/Sat, 17 Oct 2026 11:52:20 +0800https://ai.wujiong.cc/posts/2026-10-17-open-weight-eval-harness-setup/<p>开源模型更新快，若评测脚本每次改提示或温度，比分就不可比。评测脚手架的目标：同一提交在同一约束下可复跑，结果带配置指纹。</p> <h2 id="最小组件">最小组件</h2> <ol> <li>数据快照（版本号或哈希，不默默改题）</li> <li>模型与权重路径/修订号</li> <li>解码参数（temperature、max tokens 等）</li> <li>提示模板文件（纳入版本管理）</li> <li>运行日志与逐题输出</li> <li>汇总表（分项 + 配置指纹）</li> </ol> <h2 id="搭建步骤">搭建步骤</h2> <ol> <li>选定任务集并冻结快照</li> <li>写 <code>run_config.yaml</code>：模型、参数、模板路径</li> <li>跑推理，保存 raw outputs</li> <li>独立评分脚本（与推理分离）</li> <li>输出 <code>metrics.json</code> + <code>config_fingerprint</code></li> </ol> <h2 id="实践注意">实践注意</h2> <ul> <li>少样本题的示例必须固定，勿每次随机抽例</li> <li>裁判模型若用于打分，要单独记录裁判版本，或优先规则可判题</li> <li>与团队协议对齐时，可参考<a href="https://ai.wujiong.cc/posts/2026-10-17-oss-model-bench-protocol/">开源模型基准协议</a></li> </ul> <h2 id="技巧与坑">技巧与坑</h2> <ul> <li>「我本地感觉更好」不能代替脚手架</li> <li>GPU 差异可能导致数值漂，记录硬件与软件栈</li> <li>不要公布可能泄漏私有题的逐题全文到公网</li> </ul> <h2 id="小结">小结</h2> <p>脚手架是评测的诚实机器：冻结输入、记录配置、分离评分。有了它，开源权重迭代才有可比叙事。</p>