Ollama 是本地开源大模型一站式运行管理工具底层封装 llama.cpp简化本地部署流程被称为「本地大模型的 Docker」你可能已经注意到现在大模型动辄几十GB显存起步但现实是很多开发者手头只有普通笔记本、旧服务器甚至是一台8核16G内存的虚拟机。这时候Qwen3-0.6B就像一剂及时雨——它不是“缩水版”而是阿里巴巴2025年4月刚开源的千问3系列中专为轻量部署优化的精悍型号。它不追求参数堆砌而是把0.6B参数实际非嵌入参数约0.44B用在刀刃上28层结构、GQA分组查询注意力Q16头KV8头、32K超长上下文还支持q8_0量化——这意味着它能在纯CPU环境下稳稳运行不炸显存、不报OOM、不让你反复重启服务。更重要的是它不是玩具模型。我们在真实测试中发现它对中文指令理解准确、逻辑链完整、能处理多轮对话中的角色切换甚至在写Python脚本、解释Linux命令、梳理技术文档时表现远超同量级竞品。这不是“能跑就行”而是“跑得稳、答得准、用得顺”。1.租用服务器 使用xshell连接 选择python3.12环境矩池云 - 专注于人工智能领域的云服务商2.安装ollama摩达社区搜索ollama ollama-linux安装搜索 · 魔搭社区 (modelscope.cn)点击下载ollama在下载前请先通过如下命令安装ModelScopepip install modelscopemodelscope download --model modelscope/ollama-linux --local_dir /mnt/llmapt update apt install -y zstd apt-utils下载安装包后可进入ollama-linux文件夹在确认安装脚本具有执行权限后运行安装脚本。此脚本无需网络连接即可安装 Ollama。此外从 0.14.0 版本开始Ollama 的安装文件采用 zstd 压缩即.tar.zst文件因此在运行安装脚本前请确保环境中已安装 zstd。# 运行ollama安装脚本 cd ollama-linux sudo chmod 777 ./ollama-modelscope-install.sh ./ollama-modelscope-install.sh3.Ollama 启动ollama serve4.下载模型下载 并启动qwen3:0.6b模型 压缩版注意这里ollama run qwen3:0.6b第二种方式魔塔社区qwen3下载modelscope download --model Qwen/Qwen3-0.6B --local_dir ./dir如果要在ollama中运行还得转换ollama list查看本地全部模型与占用空间ollama ps查看当前正在加载运行的模型监控内存占用ollama stop xxx释放模型内存不删除文件ollama rm xxx彻底删除模型释放硬盘空间ollama create导入你自己转换的 GGUF 模型你之前魔搭 safetensors 转 GGUF 后靠这条命令装进 Ollama调用部署好的ollama 模型pip install openai#使用openai的API风格调用本地模型 from openai import OpenAI client OpenAI(base_urlhttp://localhost:11434/v1/,api_keysuibianxie) chat_completion client.chat.completions.create( messages[{role:user,content:你好请介绍下你自己。}],modelqwen3:0.6b ) print(chat_completion.choices[0])