本地模型选型是根据任务类型、硬件条件、语言需求和许可证，选择适合在本地运行的模型。参数规模、量化方式、上下文长度和中文能力都是需要考虑的因素。这篇入门教程会讲清它适合什么时候用、具体怎么操作，并给出可以直接复制的提示词。

本地模型选型是什么，为什么有效

背后的原理并不复杂：模型越大通常能力越强，但对硬件的要求也越高；在有限的资源下，选对模型比选最大的模型更重要。与直接选最大的模型相比，最大的模型通常能力最强，但对硬件要求高、速度慢；按任务和硬件选型能找到性价比最高的方案。

选型的关键在于“你自己的样本”。公开评测衡量的是通用能力，而你关心的是模型在你的文档、你的问题、你的格式要求下表现如何。花一个小时准备二十个真实样本，比花一天研究各种排行榜更有用。

适用场景

  • 准备在个人电脑或公司服务器上部署本地模型。
  • 现有的本地模型速度太慢或效果不够。
  • 需要为某个具体任务找到性价比最高的模型。
  • 要满足数据不出本地的合规要求。

怎么用：6 步上手

  1. 明确任务类型：对话、写作、代码、摘要、分类还是检索。
  2. 评估硬件：内存、显存、存储和是否需要并发使用。
  3. 列出候选模型，查看官方介绍、许可证和社区评价。
  4. 用自己的真实任务样本测试，记录速度和质量。
  5. 比较同一模型不同量化版本的效果和资源占用。
  6. 做出选择后记录测试结果，便于日后更新时对比。

可直接复制的提示词

下面以运维工程师的工作场景为例，方括号里的内容换成你自己的信息即可：

请帮我为以下情况规划本地模型选型：
- 使用者：运维工程师团队，约 5 人偶尔使用
- 主要任务：整理“变更方案”、写摘要、回答内部资料中的问题
- 语言：以中文为主
- 硬件：[描述内存、显卡等]
- 要求：数据不出本地；响应时间可以接受几秒
请：
1. 说明这类任务对模型能力的要求；
2. 给出选择参数规模和量化方式的建议思路；
3. 设计一套用我们自己的样本评估模型的方法；
4. 提醒许可证方面需要确认的问题。
注意：不确定的具体型号和数据不要编造，用“需要查阅官方说明”代替。

效果示例

以下内容为虚构示例，仅用于说明效果：

示例（虚构）：一家小公司在一台中等配置的服务器上测试了三个候选模型。最大的模型效果最好但响应太慢，最小的模型速度快但摘要经常遗漏要点，最终选择了中等规模的量化版本，在速度和质量之间取得了平衡。

新手最常犯的两个错误

  • 容易犯的错：只看排行榜选模型。更好的做法：排行榜不代表你的任务表现，一定要用自己的样本测试。
  • 容易犯的错：忽视硬件限制。更好的做法：先确认资源能支持的模型规模，避免运行缓慢或无法加载。

上手后的小技巧

  • 建立一套固定的测试样本，每次选型或更新时复用。
  • 同一模型的不同量化版本差异可能很大，值得分别测试。

一个常见疑问

参数规模越大越好吗？ 通常能力更强，但需要更多资源，速度更慢，对简单任务可能没有必要。

知识库和本地模型的效果很大程度取决于资料质量。资料越整洁、越新，回答就越可靠。

下一步

入门之后，可以看看本地模型选型的进阶技巧和常见错误，再结合本地运行大模型一起使用。

相关阅读