本地部署DeepSeek模型新手保姆教程
一、本地部署的适用场景
本地部署适合以下情况：
- 电脑配置较高，有独立显卡：本地部署需要较强的硬件支持，尤其是GPU需求。
- 有私密数据需要处理，担心泄密：本地部署可以避免数据上传到云端，确保数据安全。
- 需要与本地工作交流结合：处理高频任务或复杂任务时，本地部署可以提供更高的灵活性和效率。
- 日常使用量大，调用API需要收费：本地部署可以节省API调用的费用。
- 想要在开源模型基础上做个性化定制：本地部署允许你对模型进行二次开发和定制。
二、部署前的准备
（一）硬件要求
不同的DeepSeek模型版本对硬件的要求不同，以下是一些常见版本的硬件建议：
| 模型参数规模 | 典型用途 | CPU建议 | GPU建议 | 内存建议 (RAM) | 磁盘空间建议 | 适用场景 |
|---|---|---|---|---|---|---|
| 1.5b (15亿) | 小型推理、轻量级任务 | 4核以上 (Intel i5 / AMD Ryzen 5) | 可选，入门级GPU (如NVIDIA GTX 1650, 4GB显存) | 8GB | 10GB以上SSD | 小型NLP任务、文本生成、简单分类 |
| 7b (70亿) | 中等推理、通用任务 | 6核以上 (Intel i7 / AMD Ryzen 7) | 中端GPU (如NVIDIA RTX 3060, 12GB显存) | 16GB | 20GB以上SSD | 中等规模NLP、对话系统、文本分析 |
| 14b (140亿) | 中大型推理、复杂任务 | 8核以上 (Intel i9 / AMD Ryzen 9) | 高端GPU (如NVIDIA RTX 3090, 24GB显存) | 32GB | 50GB以上SSD | 复杂NLP、多轮对话、知识问答 |
| 32b (320亿) | 大型推理、高性能任务 | 12核以上 (Intel Xeon / AMD Threadripper) | 高性能GPU (如NVIDIA A100, 40GB显存) | 64GB | 100GB以上SSD | 大规模NLP、多模态任务、研究用途 |
| 70b (700亿) | 超大规模推理、研究任务 | 16核以上 (服务器级CPU) | 多GPU并行 (如2x NVIDIA A100, 80GB显存) | 128GB | 200GB以上SSD | 超大规模模型、研究、企业级应用 |
| 671b (6710亿) | 超大规模训练、企业级任务 | 服务器级CPU (如AMD EPYC / Intel Xeon) | 多GPU集群 (如8x NVIDIA A100, 320GB显存) | 256GB或更高 | 1TB以上NVMe SSD | 超大规模训练、企业级AI平台 |
（二）软件要求
- 操作系统：推荐Linux（如Ubuntu 20.04及以上版本）或Windows系统。
- Python版本：需要安装Python 3.8及以上版本。
- CUDA与cuDNN：根据NVIDIA GPU型号和驱动版本，安装合适的CUDA（11.2及以上版本）和cuDNN（8.1及以上版本）。
三、部署流程
（一）使用Ollama简化部署（推荐新手）
Ollama是一个开源的LLM（大语言模型）服务工具，用于简化在本地运行大模型语言，降低使用大模型语言的门槛。以下是使用Ollama部署DeepSeek的步骤：
1. 下载安装Ollama
- 访问Ollama官网（https://ollama.com ），如下图所示：
- 选择对应的系统版本进行下载，例如Windows系统选择最右边（红色框），下载完成后安装，等待安装完成即可。不同系统下Ollama的下载安装过程示例图如下：
- 安装完成后，验证Ollama是否安装成功。Win+R，在打开的cmd终端输入
ollama -v命令查看ollama版本，如果可以正常出现Ollama的版本号，则说明Ollama已安装成功。
2. 选择合适的DeepSeek版本
- 进入Ollama官网，点击右上角红框的位置，在弹出的界面，点击“Models ”选项。
- 找到DeepSeek - R1，并根据自己的电脑配置选择适合的参数版本，不同版本选择界面示例如下：
参数选择建议：
- 1.5B：适合低配电脑，2G显存即可运行。
- 7B：适合8G + 显存的显卡。
- 32B：需要32G显存，适合高端设备。
3. 安装DeepSeek模型
- 复制下载命令（示例：
ollama run deepseek - r1:1.5b）。 - 打开CMD（命令行），按Win + R，输入
cmd，回车。 - 在命令行中粘贴刚刚复制的命令，回车执行，模型开始下载，时间取决于网速和显存。命令行输入命令界面示例如下：
4. 运行DeepSeek模型
模型下载完毕后，直接输入命令ollama run deepseek - r1:1.5b ，然后就可以开始和本地AI进行对话了。
（二）手动部署（适合有一定技术基础的用户）
1. 环境准备
确保你的系统满足以下要求：
- 操作系统：Linux(推荐Ubuntu 20.04或更高版本)或Windows。
- Python：3.8或更高版本。
- GPU：支持CUDA的NVIDIA GPU(推荐16GB显存以上)。
- CUDA：11.2或更高版本。
- CUDNN：8.1或更高版本。
2. 安装依赖
首先，安装必要的依赖项：
sudo apt - get update sudo apt - get install - y python3 - pip python3 - dev python3 - venv git创建虚拟环境：
python3 - m venv deepseek - env source deepseek - env/bin/activate安装PyTorch，根据你的CUDA版本安装PyTorch。例如，CUDA 11.2的安装命令如下：
pip install torch torchvision torchaudio -- extra - index - url https://download.pytorch.org/whl/cu112
3. 克隆DeepSeek代码库
git clone https://github.com/deepseek - ai/deepseek.git
cd deepseek4. 安装项目依赖
pip install - r requirements.txt5. 下载并放置预训练模型
从官方提供的链接下载DeepSeek预训练模型权重，并将其放置在models/目录下。
wget [官方链接] - O models/deepseek_model.pth6. 配置环境变量
设置模型路径和GPU设备号等环境变量：
export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=07. 运行模型
使用以下命令启动DeepSeek模型进行推理或训练：
python run.py -- model_path $MODEL_PATH -- input "你的输入文本"四、安装交互界面（可选）
（一）安装Chatbox
- 下载安装Chatbox：访问Chatbox官网（https://chatboxai.app/zh ），直接进入官网下载客户端，下载完成后，双击进行安装即可。
- 配置DeepSeek - R1模型：打开Chatbox，选择设置 —> Ollama API，选择已经安装好的DeepSeek - R1模型。Chatbox安装和配置界面示例如下：
（二）安装Open - WebUI
- 安装Docker：访问Docker官网，根据你的电脑系统，下载Docker桌面版，并安装运行。安装完成后，需要重新启动电脑，才能正常使用Docker。重新启动后，如果你的桌面上出现了Docker的图标，就表示安装成功了。
- 安装Open - WebUI：浏览器搜索Open - WebUI，进入官网，并复制红框中的命令。按照上面提到的步骤，打开命令行，输入复制的命令，等待安装完成。Open - WebUI安装和配置界面示例如下：
- 运行Open - WebUI：双击Docker的桌面图标，打开软件。点击红框端口，即可运行Open - WebUI。初次访问时，需要注册一个账号。这些信息会储存在你的电脑里。在界面左上角，选择你的模型，就可以开始对话啦。
五、注意事项
- 硬件性能：模型参数越大，对硬件要求越高。建议根据实际需求选择合适的模型版本。
- 网络环境：下载模型时可能需要科学上网，或使用国内镜像加速。
- 数据隐私：本地部署可避免数据上传云端，适合高隐私需求场景。
- 维护成本：本地部署需要定期更新模型和环境，适合长期使用。
通过以上步骤，你就可以在本地成功部署DeepSeek模型，并使用它进行各种任务啦。希望本教程对你有所帮助！"