Qwen3-4B-Instruct部署教程：CentOS/Ubuntu双平台防火墙开放7860端口指南

Qwen3-4B-Instruct部署教程CentOS/Ubuntu双平台防火墙开放7860端口指南1. 模型简介Qwen3-4B-Instruct-2507是Qwen3系列的端侧/轻量旗舰模型具备强大的文本理解和生成能力。该模型原生支持256K token约50万字上下文窗口并可扩展至1M token能够轻松处理整本书、大型PDF、长代码库等长文本任务。2. 部署前准备2.1 系统要求在开始部署前请确保您的系统满足以下最低要求操作系统CentOS 7/Ubuntu 18.04GPUNVIDIA显卡至少8GB显存内存16GB以上存储空间至少20GB可用空间2.2 环境检查在部署前建议先检查系统环境# 检查GPU驱动 nvidia-smi # 检查Python版本 python --version # 检查Conda是否安装 conda --version3. 部署步骤详解3.1 下载模型文件模型默认存放在/root/ai-models/Qwen/Qwen3-4B-Instruct-2507路径下。如果您需要手动下载mkdir -p /root/ai-models/Qwen cd /root/ai-models/Qwen git lfs install git clone https://huggingface.co/Qwen/Qwen3-4B-Instruct-25073.2 创建Conda环境项目使用torch29环境包含以下关键依赖conda create -n torch29 python3.10 conda activate torch29 pip install torch2.9.0 transformers5.5.0 gradio accelerate3.3 启动WebUI服务使用Gradio启动Web界面cd /root/Qwen3-4B-Instruct python webui.py服务启动后默认监听7860端口可通过http://localhost:7860访问。4. 防火墙配置4.1 CentOS/RHEL系统配置# 添加防火墙规则 firewall-cmd --add-port7860/tcp --permanent # 重新加载防火墙 firewall-cmd --reload # 验证端口是否开放 firewall-cmd --list-ports | grep 78604.2 Ubuntu/Debian系统配置# 允许7860端口通过防火墙 ufw allow 7860/tcp # 启用防火墙规则 ufw enable # 查看防火墙状态 ufw status5. 服务管理5.1 使用Supervisor管理服务建议使用Supervisor来管理服务进程# 查看服务状态 supervisorctl status qwen3-4b-instruct # 重启服务 supervisorctl restart qwen3-4b-instruct # 停止服务 supervisorctl stop qwen3-4b-instruct # 启动服务 supervisorctl start qwen3-4b-instruct5.2 日志查看# 查看实时日志 tail -f /root/Qwen3-4B-Instruct/logs/webui.log # 查看完整日志 cat /root/Qwen3-4B-Instruct/logs/webui.log6. 常见问题解决6.1 端口冲突问题如果7860端口被占用# 检查端口占用情况 ss -tlnp | grep 7860 # 终止占用进程 kill -9 PID6.2 GPU显存不足# 查看GPU显存使用情况 nvidia-smi --query-gpumemory.used --formatcsv # 实时监控GPU使用 watch -n 1 nvidia-smi6.3 依赖缺失问题如果遇到ModuleNotFoundError错误source /opt/miniconda3/bin/activate torch29 pip install package_name7. 总结通过本教程您已经完成了Qwen3-4B-Instruct模型在CentOS/Ubuntu系统上的部署并成功配置了防火墙规则开放7860端口。现在您可以通过浏览器访问http://服务器IP:7860来使用模型服务。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。