下面这份清单把本地大模型选型拆成可勾选的动作，按阶段检查即可。本地模型选型是根据任务类型、硬件条件、语言需求和许可证，选择适合在本地运行的模型。处理私有资料时，数据安全和效果同样重要。先确认资料的敏感程度，再决定用云端工具还是本地方案。

什么时候拿出这份清单

  • 现有的本地模型速度太慢或效果不够。
  • 要满足数据不出本地的合规要求。

为什么要用清单？公开评测衡量的是通用能力，而你关心的是模型在你的文档、你的问题、你的格式要求下表现如何。

使用前

  • 明确任务类型：对话、写作、代码、摘要、分类还是检索。
  • 评估硬件：内存、显存、存储和是否需要并发使用。
  • 列出候选模型，查看官方介绍、许可证和社区评价。
  • 确认材料中不包含服务器 IP、账号口令、证书私钥和内部拓扑，必要时先脱敏。

使用中

  • 用自己的真实任务样本测试，记录速度和质量。
  • 比较同一模型不同量化版本的效果和资源占用。
  • 先确认资源能支持的模型规模，避免运行缓慢或无法加载。
  • 部分模型对商用有限制，选型时就要确认。

使用后

  • 做出选择后记录测试结果，便于日后更新时对比。
  • 新模型发布较快，定期用同一套样本复评。
  • 已记录本次有效的写法，便于下次复用。
  • 运维工程师特别注意：让 AI 写的命令先在测试环境执行，并要求它说明每个参数的作用。

不要这样做

  • 只看排行榜选模型。
  • 忽视硬件限制。
  • 不看许可证。
  • 只测试一两个问题。

配套模板

清单配合下面的模板使用效果更好：

请帮我为以下情况规划本地模型选型：
- 使用者：运维工程师团队，约 5 人偶尔使用
- 主要任务：整理“变更方案”、写摘要、回答内部资料中的问题
- 语言：以中文为主
- 硬件：[描述内存、显卡等]
- 要求：数据不出本地；响应时间可以接受几秒
请：
1. 说明这类任务对模型能力的要求；
2. 给出选择参数规模和量化方式的建议思路；
3. 设计一套用我们自己的样本评估模型的方法；
4. 提醒许可证方面需要确认的问题。
注意：不确定的具体型号和数据不要编造，用“需要查阅官方说明”代替。

按清单完成后，结果大致会是这样（虚构示例）：

示例（虚构）：一家小公司在一台中等配置的服务器上测试了三个候选模型。最大的模型效果最好但响应太慢，最小的模型速度快但摘要经常遗漏要点，最终选择了中等规模的量化版本，在速度和质量之间取得了平衡。

让清单更好用的两个习惯

  • 建立一套固定的测试样本，每次选型或更新时复用。
  • 多人使用时考虑并发，单人测试的速度不代表多人使用时的速度。

清单之外

参数规模越大越好吗？ 通常能力更强，但需要更多资源，速度更慢，对简单任务可能没有必要。

模型更新换代很快怎么办？ 保留测试样本和评估方法，新模型出现时快速复评即可。

清单的使用建议

清单的意义在于把容易忘的动作固定下来。刚开始每一项都勾一遍，几次之后你会发现真正容易漏的只有两三项，把它们标红即可。如果你是运维工程师，处理“处理 2 起磁盘告警和 1 起证书过期隐患”这类工作前过一遍清单，最能体现价值。

相关阅读