Qwen3.5-2B开源镜像部署：CentOS/Ubuntu双系统适配与依赖安装指南

Qwen3.5-2B开源镜像部署CentOS/Ubuntu双系统适配与依赖安装指南1. 模型简介Qwen3.5-2B是阿里云推出的轻量化多模态基础模型属于Qwen3.5系列的小参数版本20亿参数。这个模型主打低功耗、低门槛部署特别适合在端侧和边缘设备上运行在保持不错性能的同时对硬件资源的需求相对较低。该模型遵循Apache 2.0开源协议支持免费商用、私有化部署和二次开发为开发者提供了很大的灵活性。作为多模态模型它不仅能处理文本对话还能理解图片内容实现图文交互。2. 环境准备2.1 硬件要求虽然Qwen3.5-2B是轻量级模型但仍有一些基本硬件要求CPU至少4核推荐8核以上内存最低8GB推荐16GB以上GPU可选但推荐有GPU会显著提升速度存储空间至少10GB可用空间2.2 系统选择本指南将同时覆盖CentOS和Ubuntu两大主流Linux系统的部署方法系统版本测试状态备注CentOS 7完全支持需额外安装部分依赖CentOS 8完全支持Ubuntu 18.04完全支持Ubuntu 20.04完全支持推荐版本Ubuntu 22.04完全支持3. 基础环境安装3.1 CentOS系统准备对于CentOS用户首先需要安装一些基础工具# CentOS 7/8通用命令 sudo yum install -y epel-release sudo yum install -y git wget curl tar gcc gcc-c make cmake python3 python3-devel如果是CentOS 7还需要升级GLIBCsudo yum install -y centos-release-scl sudo yum install -y devtoolset-8-gcc devtoolset-8-gcc-c scl enable devtoolset-8 bash3.2 Ubuntu系统准备Ubuntu系统的准备工作相对简单sudo apt update sudo apt install -y git wget curl tar gcc g make cmake python3 python3-dev python3-venv对于Ubuntu 18.04用户建议升级CMake版本wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2/dev/null | sudo apt-key add - sudo apt-add-repository deb https://apt.kitware.com/ubuntu/ bionic main sudo apt update sudo apt install -y cmake4. Conda环境配置推荐使用Miniconda来管理Python环境# 下载并安装Miniconda通用命令 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda source $HOME/miniconda/bin/activate # 创建专用环境 conda create -n qwen python3.9 -y conda activate qwen5. 模型部署与依赖安装5.1 获取模型代码git clone https://github.com/QwenLM/Qwen1.5.git cd Qwen1.5 pip install -r requirements.txt5.2 安装PyTorch根据是否有GPU选择不同的PyTorch版本# 有NVIDIA GPU的情况 conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia # 仅CPU的情况 conda install pytorch torchvision torchaudio cpuonly -c pytorch5.3 安装额外依赖pip install transformers4.37.0 accelerate sentencepiece tiktoken gradio对于CentOS系统可能需要额外安装# CentOS专用 sudo yum install -y libstdc-static6. 启动模型服务6.1 下载模型权重# 使用官方提供的下载脚本 python download_model.py --model_name Qwen1.5-2B --cache_dir ./model_weights6.2 启动Web服务python demo/web_demo.py --model-path ./model_weights/Qwen1.5-2B --server-name 0.0.0.0 --server-port 78606.3 设置Supervisor可选对于生产环境建议使用Supervisor管理进程# 安装Supervisor sudo yum install -y supervisor # CentOS sudo apt install -y supervisor # Ubuntu # 创建配置文件 sudo tee /etc/supervisor/conf.d/qwen.conf EOF [program:qwen3.5-2b] command/home/username/miniconda/envs/qwen/bin/python demo/web_demo.py --model-path ./model_weights/Qwen1.5-2B --server-name 0.0.0.0 --server-port 7860 directory/home/username/Qwen1.5 userusername autostarttrue autorestarttrue stopasgrouptrue killasgrouptrue stderr_logfile/var/log/qwen.err.log stdout_logfile/var/log/qwen.out.log EOF # 启动服务 sudo supervisorctl update sudo supervisorctl start qwen3.5-2b7. 访问与使用服务启动后可以通过以下方式访问本地访问http://localhost:7860远程访问http://你的服务器IP:7860界面功能包括文本对话图片识别与问答参数调节Temperature、Top P等对话历史管理8. 常见问题解决8.1 CUDA相关错误如果遇到CUDA错误尝试# 检查CUDA版本 nvcc --version # 如果版本不匹配重新安装对应版本的PyTorch conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia8.2 内存不足问题对于小内存设备可以添加以下参数python demo/web_demo.py --model-path ./model_weights/Qwen1.5-2B --load-in-8bit8.3 端口冲突如果7860端口被占用可以更换端口python demo/web_demo.py --model-path ./model_weights/Qwen1.5-2B --server-port 78619. 总结通过本指南我们完成了Qwen3.5-2B模型在CentOS和Ubuntu系统上的完整部署流程。关键步骤包括系统基础环境准备Conda环境配置模型依赖安装服务启动与管理常见问题排查这个轻量级模型特别适合资源有限的部署场景同时保持了不错的多模态能力。开发者可以基于此进行二次开发构建各种AI应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。