本地大模型部署实战：Ollama 从安装到生产

本地大模型部署实战：Ollama 从安装到生产

学习目标

完成后你将能够：

• 在自己电脑上跑起开源大模型，数据完全不出本机
• 看懂 qwen2.5:7b-instruct-q4_K_M 这类命名背后的显存账
• 用 REST API 把本地模型接入任意应用
• 知道本地模型能干什么、不能干什么，避免不切实际的预期

为什么选 Ollama

• 一条命令跑模型：ollama run 模型名，不用配 Python 环境
• 自动量化管理：同一模型提供不同量化版本，按硬件选
• OpenAI 兼容 API：现有代码把 base_url 换掉就能用
• 跨平台：Windows / macOS（Apple Silicon 优化）/ Linux 全支持

前置准备

• 硬件：NVIDIA 8GB 显存起步（12GB+ 舒适）；Apple Silicon 统一内存 16GB 起步；纯 CPU 可跑 1.5B~3B 小模型
• 磁盘：单个 7B 模型约 4~5GB，多备几个模型的空间
• 网络：首次拉模型需要下载，提前配好加速

步骤 1：安装

• Windows：官网下载安装包，双击安装
• macOS：下载安装包，或 brew install ollama
• Linux：curl -fsSL https://ollama.com/install.sh | sh

验证：

ollama --version
ollama serve   # Linux 手动安装时需要先起服务；桌面版开机自启

步骤 2：看懂模型命名

以 qwen2.5:7b-instruct-q4_K_M 为例：

| 段 | 含义 | |----|------| | qwen2.5 | 模型家族 | | 7b | 参数量 70 亿，决定能力上限与显存需求 | | instruct | 指令对话版（base 版是裸续写，别选错） | | q4_K_M | 4-bit 量化，K_M 是量化方案档位 |

显存经验公式：Q4 量化下，显存需求 ≈ 参数量（B）× 0.6 GB，再留 1~2GB 给上下文。7B Q4 约 5~6GB；14B Q4 约 9~10GB；72B Q4 需要 2 张 24GB 卡。

量化档位：Q4_K_M 是默认甜点（质量损失很小、体积减半）；显存富余选 Q5/Q6/Q8；Q2 只在极端条件使用，质量损失明显。

步骤 3：按硬件选模型

| 硬件 | 推荐模型 | 适用 | |------|----------|------| | 8GB 显存 / 16GB 苹果内存 | 7B~8B Q4（Qwen2.5-7B、Llama3.1-8B） | 日常问答、摘要、轻量代码 | | 12~16GB 显存 | 14B Q4（Qwen2.5-14B） | 更强的推理与代码能力 | | 24GB 显存 | 32B Q4（Qwen2.5-32B） | 接近商用 API 的中档水平 | | 纯 CPU | 1.5B~3B Q4 | 简单分类、抽取、路由 |

选型原则：先定任务再定模型。中文通用场景优先 Qwen 系列；代码场景选 Qwen2.5-Coder / DeepSeek-Coder；_embedding_ 任务另选 BGE 等专用模型，不要用对话模型做 Embedding。

步骤 4：拉取与测试

ollama pull qwen2.5:7b-instruct-q4_K_M   # 只下载不运行
ollama run qwen2.5:7b-instruct-q4_K_M    # 下载并进入对话

>>> 用一句话介绍向量数据库

对话中可用命令：/bye 退出；ollama ps 查看当前加载的模型与显存占用；ollama list 查看本地模型库。

步骤 5：API 接入

Ollama 原生接口与 OpenAI 兼容接口都在 http://localhost:11434：

# OpenAI 兼容格式（把现有应用的 base_url 指过来即可）
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:7b-instruct-q4_K_M",
    "messages": [{"role": "user", "content": "你好"}],
    "temperature": 0.3
  }'

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="qwen2.5:7b-instruct-q4_K_M",
    messages=[{"role": "user", "content": "把这段话总结成一句话：……"}],
)
print(resp.choices[0].message.content)

步骤 6：生产化配置

常用环境变量（Windows 在系统环境变量中设置，Linux 写入 systemd unit）：

| 变量 | 作用 | 建议值 | |------|------|--------| | OLLAMA_HOST | 监听地址 | 对内服务设 0.0.0.0，配合防火墙 | | OLLAMA_KEEP_ALIVE | 模型驻留时间 | 30m，避免反复换出变慢 | | OLLAMA_NUM_PARALLEL | 并发请求数 | 显存紧张设 1 | | OLLAMA_MAX_LOADED_MODELS | 同时加载模型数 | 多任务机器设 2 | | OLLAMA_ORIGINS | 跨域白名单 | 按需配置前端域名 |

长文本需求记得加大上下文：API 参数 options: {"num_ctx": 16384}（默认 2048/4096 会悄悄截断长输入——这是最常见的「模型变笨」原因）。

常见错误

| 错误现象 | 原因 | 解决方法 | |----------|------|----------| | CUDA out of memory | 显存不够 | 降量化档位或换小模型；并发设 1 | | 长输入答非所问 | 上下文被截断 | 调大 num_ctx | | 推理速度骤降 | 模型换出到内存 | 设置 KEEP_ALIVE；确认未同时加载多个大模型 | | 局域网访问不了 | 只监听本机 | OLLAMA_HOST=0.0.0.0 并放行端口 | | pull 反复中断 | 网络问题 | 重试即可断点续传；或配置镜像/代理 |

进阶扩展

• Modelfile 定制：基于现有模型写系统提示词打包成自己的模型（FROM qwen2.5:7b + SYSTEM "..."）
• 接入 RAG：配合向量数据库做本地知识库问答
• 微调后部署：把 LoRA 微调合并导出的 GGUF 模型导入 Ollama 运行
• 多模型路由：小模型做分类路由，大模型处理复杂请求，降低平均延迟

参考资源

• Ollama 官方 GitHub - 源码、文档与模型库
• Ollama 文档 - API 与环境变量说明
• 本站词条 [模型微调](/keywords/fine-tuning)、[向量数据库](/keywords/vector-database)