崔少飞
发布于 2026-03-10 / 5 阅读
0
0

VLLM编译环境的搭建

写在前面:
梯子的应用在文章最后

安装conda

wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh

chmod +x Anaconda3-2022.05-Linux-x86_64.sh

./Anaconda3-2022.05-Linux-x86_64.sh

常用命令:
	conda --version

	conda create --name myevn python=3.10

	conda activate myevn

	conda deactivate

	conda list 

	conda update --all

搭建vllm

环境  

    git clone --branch  v0.13.0 https://github.com/vllm-project/vllm.git

    conda create -n vllm python=3.10

    conda activate vllm

    cd vllm

运行
    pip install -e .
	在 site-packages 中创建一个 链接(符号链接) 指向当前目录
	在 site-packages 目录中会生成一个 .egg-link 文件,指向你的项目路径
	修改代码后立即生效(无需重新安装)

重新构建
    pip uninstall -e .
    rm -rf build/ dist/ *.egg-info/ .deps/ vllm.egg-info/
        build不能删除
        .deps不能删除
        里面太多的c++和下载的依赖的东西了
    rm -rf dist/ *.egg-info/  vllm.egg-info/
    pip install -e .

第一次构建没有梯子会巨慢!

打包

python setup.py bdist_wheel 

构建或打包时会下载许多c++的依赖,部分依赖在github上,那么就要上科技

官网: https://github.com/nelvko/clash-for-linux-install

安装: git clone --branch master --depth 1 https://gh-proxy.org/https://github.com/nelvko/clash-for-linux-install.git \
  && cd clash-for-linux-install \
  && bash install.sh
  
安装后有控制台密钥显示,请注意观察

评论