ollama

Ollama 是一款开源的大型语言模型服务工具，主要用于在本地电脑上部署和调用大模型。它提供了多种预训练模型，覆盖文本生成、翻译、问答等自然语言处理任务，并支持离线使用，适合注重隐私保护或网络环境不稳定的用户，也可用于教学、研究以及开发和测试新的自然语言处理应用。

主要功能

• 模型加载与请求处理：支持同时加载多个模型，也支持单个模型处理多个请求。
• 模型管理与 API 支持：提供模型管理能力和 API，方便接入其他工具。
• 跨平台与轻量化：占用资源较少，适合在本地运行，并具备跨平台特性。
• 丰富的模型种类：支持的模型包括 Llama3、Mistral 等。
• 隐私保护：数据和任务在本地处理，适合对数据隐私有要求的场景。
• 扩展能力：涵盖前端工具、自定义模型、资源管理等方面。

Ollama 与 DeepSeek 的关系是：Ollama 是本地调用大型模型的平台，DeepSeek 等大模型的本地调用正是基于 Ollama 平台实现的。

本地部署 DeepSeek 的使用方法

第一步：安装 Ollama

1. 双击 OllamaSetup.exe。
2. 安装过程为全英文界面，点击【Install】，然后根据提示一直确认即可。
3. 进度条结束后 Ollama 安装完成。在开始菜单找到并双击 Ollama，即可启动软件。

第二步：安装 DeepSeek 模型

1. 安装好 Ollama 后，开始安装 DeepSeek 模型。
2. 在 Ollama 网页中查看模型。
3. DeepSeek 模型需根据电脑性能选择，推荐使用 7B，一般电脑配置即可运行；32B 对电脑要求较高。选择 7B 时，复制 ollama run deepseek-r1:7b。
4. 按键盘“Win 键 + R”，输入 cmd 打开命令行窗口。
5. 在命令行中输入上述命令 ollama run deepseek-r1:7b，按回车执行。下载速度可能较慢，耐心等待即可。
6. 出现“success”即表示安装成功，可以运行。如果不需要图形界面，可直接在命令窗口输入问题，DeepSeek 会进行搜索并给出答案。

第三步：安装 Chatbox

Chatbox 是一个用于与本地 AI 模型交互的前端工具，安装时双击安装包并按提示完成即可。在 Chatbox 中连接本地 Ollama 服务：

1. 打开 Chatbox，点击左侧【设置】，选择“OLLAMA API”。
2. 如果已完成第二步的 DeepSeek 模型安装，可在模型下拉框中看到正在运行的本地模型，点击保存。
3. 之后即可调用 DeepSeek 进行对话，输入问题，软件会给出答案。

适用场景与注意事项

Ollama 适合需要本地运行大模型、关注数据隐私或网络不稳定的用户，也适合教学、研究和开发测试等用途。使用 DeepSeek 模型时，模型规模需与电脑性能匹配，7B 更适合一般配置，32B 对硬件要求较高。