https://ai.wujiong.cc/tags/%E8%AF%84%E6%B5%8B%E5%8D%8F%E8%AE%AE/Recent content in 评测协议 on AI 观察Hugozh-CNSat, 17 Oct 2026 09:30:00 +0800https://ai.wujiong.cc/posts/2026-10-17-oss-model-bench-protocol/Sat, 17 Oct 2026 09:30:00 +0800https://ai.wujiong.cc/posts/2026-10-17-oss-model-bench-protocol/<p>我跑了一下感觉挺好无法协作。小团队也需要轻量评测协议：别人按同样步骤能对比结果。</p> <h2 id="协议骨架">协议骨架</h2> <ol> <li>目的：指令遵循、代码还是拒答安全</li> <li>钉死版本：模型名、量化、commit/容器摘要</li> <li>题集与污染风险说明</li> <li>解码参数全部记录</li> <li>评分：自动规则+抽检</li> <li>环境：GPU/驱动/框架</li> </ol> <h2 id="记录表字段">记录表字段</h2> <p><code>run_id, model_id, quant, params_hash, dataset_id, score_notes, failures</code></p>