这篇写给已经会用本地大模型选型、希望再进一步的读者。理解原理是关键：模型越大通常能力越强，但对硬件的要求也越高；在有限的资源下，选对模型比选最大的模型更重要。

选型的关键在于“你自己的样本”。公开评测衡量的是通用能力，而你关心的是模型在你的文档、你的问题、你的格式要求下表现如何。花一个小时准备二十个真实样本，比花一天研究各种排行榜更有用。

技巧 1：建立一套固定的测试样本

建立一套固定的测试样本，每次选型或更新时复用。建议先在一个小任务上试用，确认效果后再推广。

技巧 2：同一模型的不同量化版本差异可能很大

同一模型的不同量化版本差异可能很大，值得分别测试。这一条在团队协作中尤其有用。

技巧 3：对简单任务优先考虑小模型

对简单任务优先考虑小模型，速度和成本都更有优势。这能帮你更快定位问题出在哪个环节。

技巧 4：记录每个模型在测试中的典型错误

记录每个模型在测试中的典型错误，帮助判断适用范围。建议先在一个小任务上试用，确认效果后再推广。

技巧 5：多人使用时考虑并发

多人使用时考虑并发，单人测试的速度不代表多人使用时的速度。适合在任务较复杂或要反复使用时采用。

一个进阶场景

举个虚构的例子：一位科研人员想用本地模型整理实验记录。他准备了 15 条真实的记录样本，在实验室的工作站上测试了三个模型，按“提取准确性、格式遵循、速度”打分。结果显示中等规模的模型足够准确，最大的模型提升有限却慢了很多，他最终选择了前者。

模型更新换代很快怎么办？ 保留测试样本和评估方法，新模型出现时快速复评即可。

高级模板示例

下面的模板综合了以上技巧，可以按测试工程师等不同场景替换内容：

模型选型决策表：
| 维度 | 权重 | 候选A | 候选B | 候选C |
| 任务质量（自有样本测试） | 40% | | | |
| 速度（在目标硬件上） | 20% | | | |
| 资源占用 | 15% | | | |
| 中文能力 | 15% | | | |
| 许可证适配 | 10% | 一票否决 | | |
规则：许可证不允许的直接淘汰；质量分低于及格线的淘汰；其余按加权总分排序。

进阶使用时仍要避免

  • ✗ 选定后从不复评。 ✓ 新模型发布较快，定期用同一套样本复评。
  • ✗ 只测试一两个问题。 ✓ 准备一组代表真实任务的样本，测试结果才可靠。

可以组合的技能

  • 本地运行大模型：本地运行大模型是在自己的电脑或服务器上下载并运行开源或开放权重的模型，常见的工具有 Ollama 等。
  • AI 成本控制：AI 成本控制是在使用 AI 订阅服务或 API 时，了解计费方式，估算和监控用量，并通过选择合适的模型、精简输入、缓存结果等方法，在效果和花费之间取得平衡。

给团队用的建议

如果要把本地模型选型推广给团队，先挑两三个效果最好的写法做成示范，附上前后对比。比起讲原理，同事更容易被具体效果说服。

相关阅读