资源概览
Ollama 是一个用于在本地运行大语言模型的开源框架,采用 MIT 许可证,商业使用无需授权费用。
| 项目 | 说明 |
|---|---|
| 开源协议 | MIT License |
| 适用平台 | macOS / Linux / Windows / Docker |
| 最新版本 | 0.5.7 |
| 安装包体积 | 约 82MB(Windows) |
| 官方仓库 | https://github.com/ollama/ollama |
核心功能亮点
一条命令启动模型:
ollama run qwen2.5自动下载并进入对话,无需手动管理权重文件。模型库丰富:官方 Model Library 收录 Llama、Qwen、DeepSeek、Gemma、Phi 等上百个开源模型。
OpenAI 兼容 API:本地启动后监听 11434 端口,兼容 OpenAI 接口规范,现有代码改一行 base_url 即可迁移。
量化默认优化:自动选择适合本地显存的量化版本,8GB 显存可流畅运行 7B 模型。
Modelfile 自定义:支持用类 Dockerfile 语法定制系统提示词、温度参数与模型合并。
适用场景
开发者本地调试 LLM 应用,避免 API 调用费用
企业内部搭建不联网的私有模型服务
学习大模型原理与推理流程
下载与安装
官方下载:https://github.com/ollama/ollama/releases
Windows 安装完成后执行:
ollama --versionollama run qwen2.5:7b
快速上手
启动服务并调用兼容接口:
curl http://localhost:11434/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'同类资源对比
| 工具 | 协议 | 平台 | 特点 |
|---|---|---|---|
| Ollama | MIT | 全平台 | 命令行优先,API 兼容 OpenAI |
| LM Studio | 专有(免费) | 全平台 | 图形界面友好 |
| LocalAI | MIT | Docker | 多后端,支持音频图像 |
| GPT4All | MIT | 全平台 | 自带桌面客户端 |
注意事项
运行 7B 模型建议 8GB 以上显存或 16GB 内存
MIT 协议允许商用,但模型本身的授权需单独确认
Windows 版需 Windows 10 1809 及以上版本