这是一份 Ollama 本地运行大模型速查表，适合收藏后随用随查。本地运行大模型是在自己的电脑或服务器上下载并运行开源或开放权重的模型，常见的工具有 Ollama 等。

一句话理解

本地运行大模型 = 模型在本机运行，数据不必发送到外部服务，适合处理隐私敏感的内容、离线使用和学习研究。原理：本地运行工具把模型下载、加载和调用封装成简单的命令，普通开发者也能在个人电脑上体验大模型；数据留在本地，隐私和合规风险更可控。

场景速查

场景推荐做法
处理不适合上传到外部服务的敏感资料同一任务用两三个模型对比，选出最适合的
网络受限或需要离线使用 AI量化版本的模型占用资源更少，适合个人电脑
想学习和比较不同的开源模型把常用的系统提示词保存下来，配合本地模型使用
开发应用时需要一个本地的测试模型用本地模型处理敏感资料的初步整理，再决定是否需要云端模型

操作要点

  • 第 1 步：确认电脑的内存、显卡和磁盘空间，了解大致能运行多大的模型。
  • 第 3 步：选择与硬件匹配的模型，先从较小的模型开始。
  • 第 4 步：下载并运行模型，用几个简单问题测试速度和效果。
  • 第 6 步：查看模型的许可证，确认是否允许你的用途，并定期更新工具。

模板速取

示例场景：财务准备费用分析报告。

# 常用命令示例（以 Ollama 为例，具体以官方文档为准）
# 下载模型
ollama pull [模型名]
# 在终端中与模型对话
ollama run [模型名]
# 查看本机已有的模型
ollama list
# 删除不再使用的模型，释放磁盘空间
ollama rm [模型名]

# 测试问题：请用三句话说明“部门费用预算执行情况”的主要难点，回答使用中文。

错误写法对照

错误写法正确做法
选择超出硬件能力的大模型根据内存和显存选择合适规模的模型，先从小模型开始
期待本地小模型达到顶级云端模型的效果本地模型在复杂任务上可能较弱，按任务需求合理预期
忽视模型许可证不同模型的许可证不同，商用前确认是否允许
从非官方渠道下载工具和模型使用官方渠道，避免下载被篡改的文件
把本地接口暴露到公网默认只在本机使用，确需远程访问时做好认证和网络限制

速答

  • 本地模型完全安全吗？ 数据不出本机降低了泄露风险，但仍要注意工具来源、接口暴露和电脑本身的安全。
  • 普通笔记本能运行吗？ 较小的模型通常可以在内存充足的普通电脑上运行，速度取决于硬件，大模型需要更强的配置。

速记：本地运行大模型的第一步是“确认电脑的内存、显卡和磁盘空间”，结果一定要人工复核。知识库和本地模型的效果很大程度取决于资料质量。资料越整洁、越新，回答就越可靠。

使用提示

速查表只是起点。每个人的任务不同，建议在表格里补一行你自己最常用的场景，比如财务可以加上“审核报销单约 120 张”。

相关阅读