找到
1
篇与
本地部署
相关的结果
-
2025年6月 最新本地部署DeepSeek模型新手保姆教程 本地部署DeepSeek模型新手保姆教程 一、本地部署的适用场景 本地部署适合以下情况： 电脑配置较高，有独立显卡：本地部署需要较强的硬件支持，尤其是GPU需求。 有私密数据需要处理，担心泄密：本地部署可以避免数据上传到云端，确保数据安全。 需要与本地工作交流结合：处理高频任务或复杂任务时，本地部署可以提供更高的灵活性和效率。 日常使用量大，调用API需要收费：本地部署可以节省API调用的费用。 想要在开源模型基础上做个性化定制：本地部署允许你对模型进行二次开发和定制。 二、部署前的准备 （一）硬件要求 不同的DeepSeek模型版本对硬件的要求不同，以下是一些常见版本的硬件建议： 模型参数规模典型用途CPU建议GPU建议内存建议 (RAM)磁盘空间建议适用场景1.5b (15亿)小型推理、轻量级任务4核以上 (Intel i5 / AMD Ryzen 5)可选，入门级GPU (如NVIDIA GTX 1650, 4GB显存)8GB10GB以上SSD小型NLP任务、文本生成、简单分类7b (70亿)中等推理、通用任务6核以上 (Intel i7 / AMD Ryzen 7)中端GPU (如NVIDIA RTX 3060, 12GB显存)16GB20GB以上SSD中等规模NLP、对话系统、文本分析14b (140亿)中大型推理、复杂任务8核以上 (Intel i9 / AMD Ryzen 9)高端GPU (如NVIDIA RTX 3090, 24GB显存)32GB50GB以上SSD复杂NLP、多轮对话、知识问答32b (320亿)大型推理、高性能任务12核以上 (Intel Xeon / AMD Threadripper)高性能GPU (如NVIDIA A100, 40GB显存)64GB100GB以上SSD大规模NLP、多模态任务、研究用途70b (700亿)超大规模推理、研究任务16核以上 (服务器级CPU)多GPU并行 (如2x NVIDIA A100, 80GB显存)128GB200GB以上SSD超大规模模型、研究、企业级应用671b (6710亿)超大规模训练、企业级任务服务器级CPU (如AMD EPYC / Intel Xeon)多GPU集群 (如8x NVIDIA A100, 320GB显存)256GB或更高1TB以上NVMe SSD超大规模训练、企业级AI平台（二）软件要求 操作系统：推荐Linux（如Ubuntu 20.04及以上版本）或Windows系统。 Python版本：需要安装Python 3.8及以上版本。 CUDA与cuDNN：根据NVIDIA GPU型号和驱动版本，安装合适的CUDA（11.2及以上版本）和cuDNN（8.1及以上版本）。 三、部署流程 （一）使用Ollama简化部署（推荐新手） Ollama是一个开源的LLM（大语言模型）服务工具，用于简化在本地运行大模型语言，降低使用大模型语言的门槛。以下是使用Ollama部署DeepSeek的步骤： 1. 下载安装Ollama 访问Ollama官网（https://ollama.com ），如下图所示： Ollama官网页面图片 选择对应的系统版本进行下载，例如Windows系统选择最右边（红色框），下载完成后安装，等待安装完成即可。不同系统下Ollama的下载安装过程示例图如下： 不同系统下Ollama下载安装过程图片 安装完成后，验证Ollama是否安装成功。Win+R，在打开的cmd终端输入ollama -v命令查看ollama版本，如果可以正常出现Ollama的版本号，则说明Ollama已安装成功。 2. 选择合适的DeepSeek版本 进入Ollama官网，点击右上角红框的位置，在弹出的界面，点击“Models ”选项。 找到DeepSeek - R1，并根据自己的电脑配置选择适合的参数版本，不同版本选择界面示例如下： DeepSeek不同版本选择界面图片 参数选择建议： 1.5B：适合低配电脑，2G显存即可运行。 7B：适合8G + 显存的显卡。 32B：需要32G显存，适合高端设备。 3. 安装DeepSeek模型 复制下载命令（示例：ollama run deepseek - r1:1.5b ）。 打开CMD（命令行），按Win + R，输入cmd，回车。 在命令行中粘贴刚刚复制的命令，回车执行，模型开始下载，时间取决于网速和显存。命令行输入命令界面示例如下： 命令行输入命令界面图片 4. 运行DeepSeek模型 模型下载完毕后，直接输入命令ollama run deepseek - r1:1.5b ，然后就可以开始和本地AI进行对话了。 （二）手动部署（适合有一定技术基础的用户） 1. 环境准备 确保你的系统满足以下要求： 操作系统：Linux(推荐Ubuntu 20.04或更高版本)或Windows。 Python：3.8或更高版本。 GPU：支持CUDA的NVIDIA GPU(推荐16GB显存以上)。 CUDA：11.2或更高版本。 CUDNN：8.1或更高版本。 2. 安装依赖 首先，安装必要的依赖项： sudo apt - get update sudo apt - get install - y python3 - pip python3 - dev python3 - venv git 创建虚拟环境： python3 - m venv deepseek - env source deepseek - env/bin/activate 安装PyTorch，根据你的CUDA版本安装PyTorch。例如，CUDA 11.2的安装命令如下： pip install torch torchvision torchaudio -- extra - index - url https://download.pytorch.org/whl/cu112 3. 克隆DeepSeek代码库 git clone https://github.com/deepseek - ai/deepseek.git cd deepseek4. 安装项目依赖 pip install - r requirements.txt5. 下载并放置预训练模型 从官方提供的链接下载DeepSeek预训练模型权重，并将其放置在models/目录下。 wget [官方链接] - O models/deepseek_model.pth6. 配置环境变量 设置模型路径和GPU设备号等环境变量： export MODEL_PATH=models/deepseek_model.pth export CUDA_VISIBLE_DEVICES=07. 运行模型 使用以下命令启动DeepSeek模型进行推理或训练： python run.py -- model_path $MODEL_PATH -- input "你的输入文本"四、安装交互界面（可选） （一）安装Chatbox 下载安装Chatbox：访问Chatbox官网（https://chatboxai.app/zh ），直接进入官网下载客户端，下载完成后，双击进行安装即可。 配置DeepSeek - R1模型：打开Chatbox，选择设置 —> Ollama API，选择已经安装好的DeepSeek - R1模型。Chatbox安装和配置界面示例如下： Chatbox安装和配置界面图片 （二）安装Open - WebUI 安装Docker：访问Docker官网，根据你的电脑系统，下载Docker桌面版，并安装运行。安装完成后，需要重新启动电脑，才能正常使用Docker。重新启动后，如果你的桌面上出现了Docker的图标，就表示安装成功了。 安装Open - WebUI：浏览器搜索Open - WebUI，进入官网，并复制红框中的命令。按照上面提到的步骤，打开命令行，输入复制的命令，等待安装完成。Open - WebUI安装和配置界面示例如下： Open - WebUI安装和配置界面图片 运行Open - WebUI：双击Docker的桌面图标，打开软件。点击红框端口，即可运行Open - WebUI。初次访问时，需要注册一个账号。这些信息会储存在你的电脑里。在界面左上角，选择你的模型，就可以开始对话啦。 五、注意事项 硬件性能：模型参数越大，对硬件要求越高。建议根据实际需求选择合适的模型版本。 网络环境：下载模型时可能需要科学上网，或使用国内镜像加速。 数据隐私：本地部署可避免数据上传云端，适合高隐私需求场景。 维护成本：本地部署需要定期更新模型和环境，适合长期使用。 通过以上步骤，你就可以在本地成功部署DeepSeek模型，并使用它进行各种任务啦。希望本教程对你有所帮助！"
