模型服务器部署

系统环境

Ubuntu 22.04

Python 3.10

NVIDIA A10 CUDA 12.2

CPU - 28 核

内存 - 116GiB

硬盘200GB

vllm安装

• 将编译好的vllm安装包vllm-0.13.1.dev0+g72506c983.d20260201.cu124-cp310-cp310-linux_x86_64.whl 上传至服务器

• pip install vllm-0.13.1.dev0+g72506c983.d20260201.cu124-cp310-cp310-linux_x86_64.whl

安装成功的标志：

输入vllm后可正常出现vllm命令介绍

模型下载

• 安装modelscope pip install modelscope

• DeepSeek模型下载modelscope download --model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B README.md --local_dir ~/pkg/model

• BgeM3模型下载modelscope download --model BAAI/bge-m3 README.md --local_dir ~/pkg/model

docker安装

• apt-get install docker.io

• 设置镜像地址 /etc/docker/daemon.json

{

  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://mirror.aliyuncs.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ],
  "insecure-registries" : [
    "docker.mirrors.ustc.edu.cn"
  ],
  "debug": true,
  "experimental": false
}

• 重启docker服务 sudo systemctl restart docker

模型自启服务

• 上传脚本vllm-models.sh

• 赋予执行权限chmod +x vllm-models.sh

• 执行./vllm-model.sh

自启动成功的标志:

执行: sudo systemctl status vllm-models.service

显示服务正在运行

ragflow部署

• 上传工程至服务器

• 在docker目录下执行 docker compose -d docker-compose.yml up -d 初次会下载镜像,之后会自启动

备份文件监控自启动服务

• 上传monitor_backup_ragflow_service.sh至工程目录

• 赋予可执行权限chmod +x monitor_backup_ragflow_service.sh

• 执行脚本./monitor_backup_ragflow_service.sh