如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（下）
如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（下）
本文是《如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型》系列文章的下篇，主要介绍如何配置和部署Ollama服务器、设置应用程序负载均衡器（ALB），以及通过ALB DNS访问Ollama Web UI上的DeepSeek-R1模型。
6. 部署Ollama服务器和Ollama Web UI
运行以下命令安装Ollama服务器并验证其可用性：
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
curl localhost:11434
在Ollama服务器开启的情况下，运行以下命令从Ollama库中拉取DeepSeek-R1-Distill-Qwen-14B模型：
docker exec -it ollama ollama pull deepseek-r1:14b
最后，设置Ollama Web UI，使用户可以通过Web浏览器与DeepSeek-R1-Distill-Qwen-14B进行交互：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
7. 配置应用程序负载均衡器（ALB）以访问云端部署的DeepSeek-R1
在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择“应用负载均衡器”（Application Load Balancer，ALB）作为负载均衡类型，并点击“创建”（Create）。
使用以下规格配置ALB：
- 方案（Scheme）：Internet-facing
- 负载均衡器IP地址类型（Load balancer IP address type）：IPv4
- 网络设置（Network Settings）：选择默认的VPC设置，并选择与EC2实例部署在相同可用区的选项
- 安全组（Security Groups）：选择在EC2配置步骤中创建的安全组
在“监听器和路由”（Listeners and Routing）部分，使用默认的HTTP:80设置，并点击“创建目标组”（Create target group）。
指定“实例”（Instances）作为目标类型（Target Type），命名目标组（Target Group）为deepseek-tg，然后点击“下一步”（Next）。
注册deepseek-r1实例作为目标（Target），指定端口3000，然后点击“Include as pending below”，接着点击“创建目标组”（Create Target Group）。
最后返回应用负载均衡器创建页面，选择挂载deepseek-r1目标组（Target Group），然后向下滚动并点击“创建负载均衡器”（Create Load Balancer）。
8. 通过ALB DNS访问Ollama Web UI上的DeepSeek-R-1
在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择在前一步中创建的deepseek-alb，并获取其DNS名称。
在浏览器中输入ALB的DNS地址，你将看到一个注册页面。使用自己选择的电子邮件和密码进行注册，即可开始探索托管在亚马逊云科技EC2上的DeepSeek-R1-Distill-Qwen-14B，结合Ollama和Ollama Web UI进行交互！
9. 结论
DeepSeek-R1和DeepSeek-R1 Distill模型因其强大的推理能力而倍受欢迎。虽然DeepSeek-R1 Distill模型可以在GPU或AI芯片上部署，以获得最佳的低延迟和高吞吐性能，但并非所有使用场景都需要这种性能水平。在某些场景下，将模型托管在CPU上可以获得更优的性价比。要了解如何在EC2上使用CPU部署DeepSeek-R1 Distill模型，大家可以使用Amazon Gravition4芯片进行部署。