02 · MODELS & DOWNLOADS
从模型仓库,到可用的本地文件
直接浏览 ModelScope 与 Hugging Face 仓库,选择 GGUF 分片和 mmproj,并使用可暂停、可恢复的持久下载队列。
浏览模型仓库
- 01选择来源
国内连接通常优先尝试 ModelScope;模型只在 Hugging Face 发布时再切换来源。
- 02输入仓库 ID
例如 Qwen/Qwen3-8B-GGUF。应用会读取文件列表,不会在此阶段下载模型。
- 03选择合适量化
显存充足时选择更高精度;资源有限时从 Q4_K_M 一类平衡量化开始。分片模型需要选择完整的一组文件。
- 04确认保存目录
队列会持久化。关闭应用或网络中断后,可根据恢复策略继续任务。

下载队列与恢复
下载管理器会记录每个文件的进度、速度与状态。你可以暂停、继续、取消、重试失败任务, 也可以限制并发数和总带宽,避免下载影响正在运行的推理服务。

视觉模型与 mmproj
应用会读取 GGUF 元数据,尝试匹配视觉模型与对应 projector。自动匹配不确定时,请核对模型家族、基础仓库和文件版本, 不要仅凭文件名相似强行组合。
下一步创建并调优实例 →