Windows系统使用Ollama本地化部署Qwen3.5-9B模型教程在 Windows 系统上使用 Ollama 本地化部署 Qwen3.5-9B 大语言模型的教程通过自定义安装路径实现灵活的磁盘空间管理。部署流程涵盖两种模型获取方式一是通过魔塔社区下载 GGUF 格式量化模型利用 Modelfile 配置文件执行命令完成本地模型构建二是直接通过命令拉取官方仓库镜像。本教程适用于需要本地私有化部署且对数据隐私有严格要求的 AI 应用场景。硬件配置CPUIntel® Core™ Ultra 7 265K内存DDR5 8000MHz 48GB显卡RTX 5060Ti 16GB硬盘SSD 2TB一、Ollama 安装与环境配置一下载OllamaOllama官网下载链接https://ollama.com/downloadgithub下载链接: https://github.com/ollama/ollama/releases选择适合操作系统的版本进行下载二安装Ollama1. 安装路径切换Ollama的默认安装位置为:C:\Users\xxx\AppData\Local\Programs\Ollama安装 Ollama 时需要先切换到目标安装路径再执行安装操作。键盘按下win R然后输入cmd打开命令提示窗口。输入命令C:\Users\用户名\Downloads\OllamaSetup.exe/DIRC:\Software\OllamaDownloads\OllamaSetup.exe: 安装包的位置C:\Software\Ollama: 要安装的目标位置2. 运行Ollama安装程序运行命令后会弹出Ollama的安装窗口点击Install。安装完成后的界面3. 验证Ollama安装在命令行输入ollama--version输出版本信息说明安装成功。4. 关闭开机自启打开设置选择应用选择启动。选择ollama设置为关。5. 自定义模型存放位置Ollama 默认模型存放路径为C:\Users\用户名\.ollama\models新建一个models文件夹搜索环境变量选择环境变量在系统变量下边点击新建填入信息变量名OLLAMA_MODELS必须完全一致区分大小写变量值C:\Software\Ollama\models目标模型存放路径一路点击确定保存配置。重启电脑让Ollama的环境变量生效。将C:\Users\用户名\.ollama\models下的所有文件剪切到新的模型文件夹中避免重复下载。打开Ollama的设置将模型存放位置进行修改二、下载并安装Qwen3.5-9B模型一自行下载指定量化方式的Qwen3.5-9B模型打开魔塔社区找到Qwen3.5-9B然后选择右侧的量化模型。网址https://www.modelscope.cn/models/Qwen/Qwen3.5-9B选择GGUF格式的量化模型作者为unsloth。点击模型文件选择Qwen3.5-9B-Q6_K.gguf点击右侧下载。这里有多个模型代表不同精度的量化需要根据自己的设备进行选择。需要注意的是较小的模型在高量化等级下通常比较大的模型在低量化等级下表现更好。例如7B模型Q6通常优于13B模型Q2且运行更快打开任意编译器在跟下载的gguf同一路径下创建一个文件不带有后缀命名为Modelfile。填入内容FROM ./Qwen3.5-9B-Q6_K.gguf在存放 Modelfile 的目录的文件夹中右键点击在 终端中打开 输入命令ollama create qwen3.5:9b-f./Modelfile构建完成后可通过以下命令查看所有本地模型ollama list可以看到这时所安装的模型已经出现在文件夹之中。在Ollama中选中qwen3.5:9b模型就可以问问题了。运行模型后硬件占用情况二使用默认方式安装模型以管理员身份打开命令行然后输入ollama pull qwen3.5:9b ollama run qwen3.5:9b出现scuccess说明安装成功。三卸载安装的Qwen3.5-9B模型以管理员身份打开命令行然后输入ollamarmqwen3.5:9b结束~