想在自己的电脑上运行大模型，不想把数据发给云服务，也不想折腾复杂的环境配置？Ollama 是目前最受欢迎的本地大模型运行工具之一，它把模型下载、量化格式、推理引擎和 API 服务打包在一起，让普通开发者几分钟内就能在笔记本上和开源模型对话，并把它接入自己的程序。

Ollama 是什么

Ollama 是一个开源的本地大模型运行框架，主要特点包括：

  • 支持 macOS、Windows 和 Linux；
  • 提供类似包管理器的体验，一条命令即可下载并运行模型；
  • 底层基于高效的推理引擎，支持 CPU 和多种 GPU 加速；
  • 内置本地 HTTP API 服务，并提供与常见云端 API 风格兼容的接口，方便现有代码迁移；
  • 社区维护了丰富的模型库，涵盖通用对话、代码、多模态和 Embedding 模型。

安装与基本使用

  1. 从官方网站下载对应系统的安装包，或在 Linux 上使用官方提供的安装脚本；
  2. 安装完成后，在终端中运行类似 ollama run 模型名 的命令，首次运行会自动下载模型，下载完成后即可在终端中直接对话；
  3. 使用 ollama list 查看已下载的模型，使用 ollama rm 删除不需要的模型释放磁盘空间。

具体命令和参数请以官方文档为准，版本更新后可能有变化。

如何选择合适的模型

先看内存

本地运行模型最大的限制是内存（使用 GPU 时是显存）。粗略的经验是：模型参数量越大、量化精度越高，需要的内存越多。在 8GB 内存的设备上，适合运行较小参数规模的模型；16GB 到 32GB 内存可以运行中等规模的模型；更大的模型需要高端设备。如果内存不足，系统会变得非常缓慢甚至无法运行。

理解量化版本

模型库中同一个模型通常提供多个量化版本，例如 4 比特、5 比特、8 比特等。比特数越低，体积越小、速度越快，但效果会有一定损失。对于大多数日常任务，4 比特到 5 比特的量化版本是兼顾效果和资源的常见选择。量化原理详见模型量化详解。

按任务选型

  • 中文对话：选择在中文上表现好的开源模型，选型方法见中文开源大模型选型思路；
  • 编程辅助：选择专门针对代码训练的模型；
  • 知识库检索：还需要一个 Embedding 模型来计算文本向量；
  • 图片理解：选择支持视觉输入的多模态模型。

通过 API 接入应用

Ollama 启动后会在本地端口提供 HTTP 服务。你可以：

  • 直接用 HTTP 请求调用生成和对话接口；
  • 使用官方或社区提供的各语言客户端库；
  • 利用其兼容接口，把原本调用云端 API 的代码改为指向本地地址，通常只需修改服务地址和模型名称；
  • 在各类开源聊天界面、知识库工具和自动化平台中配置 Ollama 作为模型后端。

更通用的 API 使用方法可参考大模型 API 调用入门。

自定义模型配置

Ollama 支持通过配置文件定制模型：设置默认的系统提示词、调整温度等采样参数、修改上下文长度。这让你可以为特定任务创建专用的模型配置，例如一个固定扮演翻译助手的版本。

本地部署的真实取舍

优势

  • 隐私：数据不离开本机，适合处理敏感文档；
  • 离线可用：没有网络也能使用；
  • 无调用费用：下载后可以无限次使用，适合大量实验和批处理；
  • 可控：模型版本固定，不会因为服务商更新而改变行为。

局限

  • 能力差距：能在个人设备上运行的模型，在复杂推理和知识广度上通常不如顶级云端模型；
  • 速度：取决于硬件，在没有独立显卡的设备上生成速度可能较慢；
  • 资源占用：运行时占用大量内存，影响其他程序；
  • 运维：多人共享使用时，需要自己处理并发、监控和更新，生产级服务可考虑 vLLM 等推理引擎。

小结

Ollama 大幅降低了本地运行大模型的门槛，是学习、实验和处理隐私数据的好工具。根据内存选择合适规模和量化版本的模型，通过本地 API 接入应用，就能搭建起完全私有的 AI 能力。同时要对本地模型的能力边界有合理预期，复杂任务可以与云端模型配合使用。