作者:崔少飞

VLLM编译环境的搭建

写在前面: 梯子的应用在文章最后 安装conda wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh chmod +x Anaconda3-2022.05-Linux-x86_64.sh ./Anaco

崔少飞 崔少飞 发布于 2026-03-10

Open-webui vs vllm二次开发

vllm开发的优势 1.环境是现成的 2.已经有了当前打包流程 3.已经有一部分写好的代码 4.不影响与ragflow的流式接口 vllm劣势 1.gpu资源有限,在开发时,ragflow的请求会受影响 2.vllm编译时间较长,CPU满负荷运转,执行pip install -e . 初次要15~2

崔少飞 崔少飞 发布于 2026-03-11

模型服务器部署

系统环境 Ubuntu 22.04 Python 3.10 NVIDIA A10 CUDA 12.2 CPU - 28 核 内存 - 116GiB 硬盘200GB vllm安装 将编译好的vllm安装包vllm-0.13.1.dev0

崔少飞 崔少飞 发布于 2026-02-05

RagFlow 镜像大小7.7G

使用命令行进入镜像的文件系统: sudo docker run -it --rm --entrypoint /bin/bash infiniflow/ragflow:v0.23.1 在根目录查看文件系统及其大小: du -h --max-depth=1 ./ | sort -hr ragflow 4

崔少飞 崔少飞 发布于 2026-02-05

知识库后台用户附加数据 与 密码

关于附加数据Tenant 及 TenantLLM addUser时使用User的id数据初始化了 Tenant表和UserTenant表 Tenant初始化增加的重要数据有: id 在标注中, 1.通过tenant的id获取模型 2.通过tenant的id获取es的index,将生成后的标注的数据放

崔少飞 崔少飞 发布于 2026-02-02

知识库备份

三个库 Mysql: 备份Minio 与 ES 的映射 、 知识库的配置信息 Minio: 备份用户上传的元文件 ES: 备份切片信息、提取的关键字、提取的提问等 数据库的备份 数据库中的对应关系 file 文件管理的层级树 document<

崔少飞 崔少飞 发布于 2026-01-26

知识库APIKey

生成 使用SecureRandom生成随机字节,然后再经过base64进行编码,得到最终的api_key 数据库 验证过程 在请求头中通过Authentication获取token,然后从数据库中查找token对应的ApiKey,获取过期时间 expired 和 enable 同时验证,当两者都有效

崔少飞 崔少飞 发布于 2026-01-22

知识库AOP日志记录

配置类 1.根据请求填写配置项 假设接口: 返回值的json为:

崔少飞 崔少飞 发布于 2026-01-22

RagFlow智能体

什么是智能体 可以在一种流程中,最大限度的保持用户自由度的情况下,帮助用户完成某些任务. 区别于传统的"自助业务机",它最大的优势是通过用户的自然语言,自动获取相关信息并完成任务处理. 官网对智能体的定义 智能体和RAG是互补的技术,彼此增强对方在业务中的能力.在ragflow中是从0.8.0引入的

崔少飞 崔少飞 发布于 2026-01-12

RAG扫盲

RAG是什么? RAG(Retrieval-Augmented Generation,检索增强生成)是一种将外部知识检索与生成式模型结合的技术,用于提升大模型回答的准确性和时效性。 RAG 的核心思想是让模型在回答问题时,先从外部知识库(如文档、数据库)中检索相关信息,再结合检索结果生成回答。其工作

崔少飞 崔少飞 发布于 2026-01-04