很多人用了本地大模型选型却觉得效果一般，问题往往出在几个常见错误上。先回顾一下：本地模型选型是根据任务类型、硬件条件、语言需求和许可证，选择适合在本地运行的模型。下面逐个拆解 5 个最常见的错误。

错误 1：只看排行榜选模型

表现：只看排行榜选模型。这样做的结果通常是输出偏离预期，还得花时间返工。

修正：排行榜不代表你的任务表现，一定要用自己的样本测试。

错误 2：忽视硬件限制

表现：忽视硬件限制。这样做的结果通常是输出偏离预期，还得花时间返工。

修正：先确认资源能支持的模型规模，避免运行缓慢或无法加载。

错误 3：不看许可证

表现：不看许可证。这是最常见也最容易忽略的情况。

修正：部分模型对商用有限制，选型时就要确认。

错误 4：只测试一两个问题

表现：只测试一两个问题。这是最常见也最容易忽略的情况。

修正：准备一组代表真实任务的样本，测试结果才可靠。

错误 5：选定后从不复评

表现：选定后从不复评。看似省事，实际会让后续修改更费劲。

修正：新模型发布较快，定期用同一套样本复评。

这些错误的共同根源

选型的关键在于“你自己的样本”。公开评测衡量的是通用能力，而你关心的是模型在你的文档、你的问题、你的格式要求下表现如何。花一个小时准备二十个真实样本，比花一天研究各种排行榜更有用。

顺带回答一个常见疑问——需要专门的显卡吗？有显卡会快很多，但较小的模型也可以在只有处理器的电脑上运行，只是速度较慢。

修正后的标准写法

把上面的修正综合起来，以数据分析师的场景为例，一个更可靠的写法是：

请帮我为以下情况规划本地模型选型：
- 使用者：数据分析师团队，约 5 人偶尔使用
- 主要任务：整理“分析报告”、写摘要、回答内部资料中的问题
- 语言：以中文为主
- 硬件：[描述内存、显卡等]
- 要求：数据不出本地；响应时间可以接受几秒
请：
1. 说明这类任务对模型能力的要求；
2. 给出选择参数规模和量化方式的建议思路；
3. 设计一套用我们自己的样本评估模型的方法；
4. 提醒许可证方面需要确认的问题。
注意：不确定的具体型号和数据不要编造，用“需要查阅官方说明”代替。

如果你是数据分析师，还要额外注意一点：给 AI 表结构和字段含义，而不是真实数据；需要样例时用脱敏或虚构的几行。

最后一个建议

记录每个模型在测试中的典型错误，帮助判断适用范围。记住本地模型选型的原理——模型越大通常能力越强，但对硬件的要求也越高；在有限的资源下，选对模型比选最大的模型更重要——遇到新情况时就能自己判断怎么写。

怎么自查

写完提示词后，用三十秒问自己：AI 知道我的读者是谁吗？知道成功的标准吗？知道哪些事不能做吗？三个问题有一个答不上来，就先补充再发送。数据分析师在处理分析报告这类正式材料时尤其要过这一关。

相关阅读