Ollama 是一个轻量级、跨平台的本地大模型运行管理框架，核心目标：一行命令，在自己电脑离线跑开源大模型，底层封装 llama.cpp，自动处理量化、显存调度、模型下载，大幅降低本地 LLM 部署门槛稀土掘金。

基础信息

• 开发语言：Go（服务与CLI）+ C/C++（底层推理引擎 llama.cpp）
• 开源协议：MIT
• 支持平台：Windows / macOS / Linux / Docker
• 模型格式：GGUF（GGUF量化模型，4bit/8bit，降低显存占用）

架构原理（C/S 客户端-服务端）

1. ollama serve：后台守护服务，默认监听 127.0.0.1:11434，提供REST API；自动管理显存、模型加载/卸载、多模型调度
2. CLI客户端：ollama 命令，和后台服务通信，拉取、运行、管理模型
3. 推理引擎：底层调用 llama.cpp，支持 NVIDIA CUDA、Apple Metal、Vulkan、纯CPU推理，自动混合加载（GPU优先，显存不足自动丢到内存）

核心能力

1. 极简模型管理 ollama run qwen2.5 # 自动下载并直接启动对话 ollama pull llama3.2 # 仅下载模型不启动 ollama list # 查看本地已下载模型 ollama ps # 查看正在运行的模型 ollama rm mistral # 删除模型 支持用 Modelfile 自定义模型：设定系统提示词、参数、从基础模型微调，ollama create 打包自定义模型。
2. OpenAI兼容REST API
   本地接口 [http://localhost:11434/api/chat](http://localhost:11434/api/chat)，可以直接替换OpenAI的API地址，LangChain、Open WebUI、Continue、n8n、Obsidian等大量工具直接对接，也提供Python/JS SDK开发应用。
3. 海量开源模型库
   官网模型库支持：Llama3/3.2、Qwen通义千问、DeepSeek、Mistral、Gemma、Phi、LLaVA（多模态图文）等；支持文本、代码、识图、推理类模型，小到1B轻量模型，大到70B、405B大模型。
4. 离线+隐私优先
   本地推理，对话数据不出本机；不需要联网即可推理，适合处理文档、内部资料、敏感业务内容；量化技术让普通消费级电脑（M系列Mac、RTX显卡，甚至纯CPU）也能跑模型。

典型使用场景

• 个人本地AI助手、离线文档问答（RAG知识库）
• 本地代码助手，IDE插件（Continue）
• 私有化业务小模型，企业内部文档分析
• AI Agent、自动化工作流底座（n8n、OpenClaw）
• 大模型学习、提示词调试、模型二次定制

优缺点

优点

• 上手门槛极低，不用手动编译、处理CUDA环境
• 跨平台，Mac用户体验尤其优秀（Metal加速）
• API兼容OpenAI，生态极其丰富
• 自动显存调度，显存不足自动卸载模型
• 完全离线，隐私可控，无token计费

缺点

• 默认端口11434无鉴权，公网暴露会有安全风险，生产环境务必做访问控制
• 推理性能弱于vLLM/SGLang，适合个人、小并发场景，不适合高吞吐线上服务
• 大模型（70B+）依然需要大显存，CPU跑大模型速度很慢

硬件最低参考

• 轻量模型（1B~3B）：8G内存即可，纯CPU可跑
• 7B量化模型：推荐16G内存，≥6G显存显卡
• 13B量化模型：推荐16G+内存，≥8G显存
• 70B量化模型：32G+内存，≥24G显存（RTX4090/A10G等）

生态配套

• WebUI：Open WebUI、LlamaIndex WebUI
• RAG知识库：LangChain、LlamaIndex、AnythingLLM
• IDE插件：Continue（VSCode本地代码助手）
• 笔记：Obsidian Ollama插件
• 自动化：n8n、OpenClaw本地智能体