本页把本地大模型选型的关键内容压缩成速查格式，写提示词前扫一眼即可。本地模型选型是根据任务类型、硬件条件、语言需求和许可证，选择适合在本地运行的模型。

一句话理解

本地模型选型 = 参数规模、量化方式、上下文长度和中文能力都是需要考虑的因素。原理：模型越大通常能力越强，但对硬件的要求也越高；在有限的资源下，选对模型比选最大的模型更重要。

场景速查

场景推荐做法
准备在个人电脑或公司服务器上部署本地模型建立一套固定的测试样本，每次选型或更新时复用
现有的本地模型速度太慢或效果不够同一模型的不同量化版本差异可能很大，值得分别测试
需要为某个具体任务找到性价比最高的模型对简单任务优先考虑小模型，速度和成本都更有优势
要满足数据不出本地的合规要求记录每个模型在测试中的典型错误，帮助判断适用范围

操作要点

  • 第 1 步：明确任务类型：对话、写作、代码、摘要、分类还是检索。
  • 第 3 步：列出候选模型，查看官方介绍、许可证和社区评价。
  • 第 4 步：用自己的真实任务样本测试，记录速度和质量。
  • 第 6 步：做出选择后记录测试结果，便于日后更新时对比。

常用模板

示例场景：游戏开发者准备策划文档。

请帮我为以下情况规划本地模型选型：
- 使用者：游戏开发者团队，约 5 人偶尔使用
- 主要任务：整理“策划文档”、写摘要、回答内部资料中的问题
- 语言：以中文为主
- 硬件：[描述内存、显卡等]
- 要求：数据不出本地；响应时间可以接受几秒
请：
1. 说明这类任务对模型能力的要求；
2. 给出选择参数规模和量化方式的建议思路；
3. 设计一套用我们自己的样本评估模型的方法；
4. 提醒许可证方面需要确认的问题。
注意：不确定的具体型号和数据不要编造，用“需要查阅官方说明”代替。

错误写法对照

错误写法正确做法
只看排行榜选模型排行榜不代表你的任务表现，一定要用自己的样本测试
忽视硬件限制先确认资源能支持的模型规模，避免运行缓慢或无法加载
不看许可证部分模型对商用有限制，选型时就要确认
只测试一两个问题准备一组代表真实任务的样本，测试结果才可靠
选定后从不复评新模型发布较快，定期用同一套样本复评

速答

  • 什么是量化？ 是一种降低模型存储和计算精度、减少资源占用的方法，通常会带来一定的质量损失。
  • 参数规模越大越好吗？ 通常能力更强，但需要更多资源，速度更慢，对简单任务可能没有必要。

速记：本地模型选型的第一步是“明确任务类型：对话、写作、代码、摘要、分类还是检索”，结果一定要对照原始材料检查。知识库和本地模型的效果很大程度取决于资料质量。资料越整洁、越新，回答就越可靠。

怎么用这页

写提示词前先看“场景速查”找到对应做法，写完后对照“错误写法”自查一遍。也可以把整页复制到笔记里，加上你自己的模板和经验。

相关阅读