VLLM编译环境的搭建

写在前面: 梯子的应用在文章最后 安装conda wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh chmod +x Anaconda3-2022.05-Linux-x86_64.sh ./Anaco

崔少飞 崔少飞 发布于 2026-03-10

VLLM编译环境的搭建

写在前面: 梯子的应用在文章最后 安装conda wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh chmod +x Anaconda3-2022.05-Linux-x86_64.sh ./Anaco

崔少飞 崔少飞 发布于 2026-03-10

普教-设备控制

平台 现有情况: 初始设备注册: 终端注册,选择班级或者教室

杨立超 杨立超 发布于 2026-09-03

7月21日 AI服务器结项会议

1、 刚开始测试bug提出质量,书写标准,包括标题、复现步骤、附件说明; 2、研发改bug的质量,二次打开的bug,修改bug引发出来新的问题; 3、人员的变动引起需求方面的了解程度不足 4、延期处理的bug 5、用例待补充: (1)探索性测试中遇到的问题,用例需要补充; (2)其他待补充问题 6、

侯文宣 侯文宣 发布于 2026-07-21

高职教班牌数据下发

课表下发: 课表更新时,下发命令到终端, 1、撤销上次的相同job,addJob命令,获取到updateCourse,终端拉取全部课程,终

侯文宣 侯文宣 发布于 2026-07-11

高职教模板切换场景逻辑

1、课程场景、会议场景、自习场景:开始时间1小时前展示,如果上节(课/会议)结束时间未到,以结束时间为准; 2、自习场景:学生预约自己审核通过的时间段,展示自习正常数据; 3、自习场景(空闲中展示):自习中改成空闲中; 4、制作模板时,自习场景和宣传场景不能同时关闭; 5、发布模板时,下发模板命令包

侯文宣 侯文宣 发布于 2026-07-08

openWebUI工作量评估

1.迁移vllm用户输入敏感词过滤逻辑 和敏感词增删改查的逻辑 1.5天 2.open-webui新增流式对话接口 (1)模型输出的敏感词过滤 1.5天 (2)增加输入和输出的过滤记录 1.5天 (3)调用vllm会话接口,有自定义的参数设置自定义参数没有则读取基础模型参数设置 1.5天 (4)统计

崔少飞 崔少飞 发布于 2026-03-13

open web ui 会话接口分析

请求数据 { "stream": true, "model": "DeepSeek-R1-0528-Qwen3-8B", "messages": [ { "role": "system", "content": "你好" }, { "role": "user",

崔少飞 崔少飞 发布于 2026-03-13

Open-webui vs vllm二次开发

vllm开发的优势 1.环境是现成的 2.已经有了当前打包流程 3.已经有一部分写好的代码 4.不影响与ragflow的流式接口 vllm劣势 1.gpu资源有限,在开发时,ragflow的请求会受影响 2.vllm编译时间较长,CPU满负荷运转,执行pip install -e . 初次要15~2

崔少飞 崔少飞 发布于 2026-03-11

模型服务器部署

系统环境 Ubuntu 22.04 Python 3.10 NVIDIA A10 CUDA 12.2 CPU - 28 核 内存 - 116GiB 硬盘200GB vllm安装 将编译好的vllm安装包vllm-0.13.1.dev0

崔少飞 崔少飞 发布于 2026-02-05

RagFlow 镜像大小7.7G

使用命令行进入镜像的文件系统: sudo docker run -it --rm --entrypoint /bin/bash infiniflow/ragflow:v0.23.1 在根目录查看文件系统及其大小: du -h --max-depth=1 ./ | sort -hr ragflow 4

崔少飞 崔少飞 发布于 2026-02-05