VLLM编译环境的搭建

写在前面: 梯子的应用在文章最后 安装conda wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh chmod +x Anaconda3-2022.05-Linux-x86_64.sh ./Anaco

崔少飞 崔少飞 发布于 2026-03-10

VLLM编译环境的搭建

写在前面: 梯子的应用在文章最后 安装conda wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh chmod +x Anaconda3-2022.05-Linux-x86_64.sh ./Anaco

崔少飞 崔少飞 发布于 2026-03-10

Open-webui vs vllm二次开发

vllm开发的优势 1.环境是现成的 2.已经有了当前打包流程 3.已经有一部分写好的代码 4.不影响与ragflow的流式接口 vllm劣势 1.gpu资源有限,在开发时,ragflow的请求会受影响 2.vllm编译时间较长,CPU满负荷运转,执行pip install -e . 初次要15~2

崔少飞 崔少飞 发布于 2026-03-11

模型服务器部署

系统环境 Ubuntu 22.04 Python 3.10 NVIDIA A10 CUDA 12.2 CPU - 28 核 内存 - 116GiB 硬盘200GB vllm安装 将编译好的vllm安装包vllm-0.13.1.dev0

崔少飞 崔少飞 发布于 2026-02-05

RagFlow 镜像大小7.7G

使用命令行进入镜像的文件系统: sudo docker run -it --rm --entrypoint /bin/bash infiniflow/ragflow:v0.23.1 在根目录查看文件系统及其大小: du -h --max-depth=1 ./ | sort -hr ragflow 4

崔少飞 崔少飞 发布于 2026-02-05

知识库后台用户附加数据 与 密码

关于附加数据Tenant 及 TenantLLM addUser时使用User的id数据初始化了 Tenant表和UserTenant表 Tenant初始化增加的重要数据有: id 在标注中, 1.通过tenant的id获取模型 2.通过tenant的id获取es的index,将生成后的标注的数据放

崔少飞 崔少飞 发布于 2026-02-02

服务器备份脚本使用说明

脚本文件:(部署服务器时,脚本文件要跟【docker-compose.yml】在同一目录下) auto_create_monitor_service.sh: 开机自启脚本:

庞冲 庞冲 发布于 2026-01-27

知识库备份

三个库 Mysql: 备份Minio 与 ES 的映射 、 知识库的配置信息 Minio: 备份用户上传的元文件 ES: 备份切片信息、提取的关键字、提取的提问等 数据库的备份 数据库中的对应关系 file 文件管理的层级树 document<

崔少飞 崔少飞 发布于 2026-01-26

知识库APIKey

生成 使用SecureRandom生成随机字节,然后再经过base64进行编码,得到最终的api_key 数据库 验证过程 在请求头中通过Authentication获取token,然后从数据库中查找token对应的ApiKey,获取过期时间 expired 和 enable 同时验证,当两者都有效

崔少飞 崔少飞 发布于 2026-01-22

知识库AOP日志记录

配置类 1.根据请求填写配置项 假设接口: 返回值的json为:

崔少飞 崔少飞 发布于 2026-01-22

rag服务引用学段教材章节

迁移period、subject、version、booklet、textbook、textbook_chapter表。 查询列表接口 知识库表增加类别(区分教学知识库和其他分类知识库) 创建时教学知识库要选择对应的学段、学科、版本、册别(增加关联表,知识库id关联对应信息)。 向该类型知识库传文件

杨立超 杨立超 发布于 2026-01-21