本地大模型
下载或扫描模型文件，准备运行引擎，再启动自己的模型服务。
先分清模型文件与引擎
本地大模型页面管理模型文件、推理引擎和服务进程。它属于完整版本，并受设置中的可选页面开关控制。
模型文件是权重，运行引擎负责加载并提供服务。下载完成不等于服务已经启动，装好引擎也不等于已经下载模型。常见本地文件使用 GGUF 格式。
从第一个本地模型开始
- 在商店查看模型和硬件参考，选择适合这台机器的量化版本；已经有文件时，在本地添加模型目录并扫描。
- 选择运行时，检测并安装对应引擎。需要时通过已有入口选择版本或升级。
- 选择模型、端口、算力与上下文长度。先用保守配置跑通，再调整模型规模和上下文。
- 点击启动，等待输出并核对服务状态、地址与访问密钥。失败时先看日志，不要连续重复启动。
- 服务正常后，再让 AI 助手或其他支持的模型入口使用它。
- 不使用时点击停止，释放运行服务占用的资源。离开页面不等于停止服务。
系统与运行时怎么选
| 运行路径 | 适用情况 |
|---|---|
| llama.cpp | 三平台基础运行路径；性能取决于硬件和构建 |
| macOS Metal | 可利用相应 Apple 硬件加速 |
| NVIDIA CUDA | 使用受支持的 NVIDIA 环境和对应构建 |
| CPU | 没有合适 GPU 时的基础路径，速度取决于模型与硬件 |
| vLLM / SGLang | 当前界面仅在 Linux 且检测到 NVIDIA / AMD GPU 时提供相应选项 |
更长上下文、更大模型通常需要更多内存。给系统和其他工作程序留出空间，比只看模型文件大小更稳妥。
目录、模型与自定义命令
移除扫描目录，只是从目录列表中移除，不会删除磁盘上的模型文件。下载完成后可以重新扫描。
高级用户可设置自定义引擎路径和启动参数。第一次使用先保留能工作的默认流程，不要同时改未知参数、端口和模型格式，否则难以确定失败来源。
与 AI 助手组合
先确认本地服务成功，再在助手里选择可用模型来源。模型运行与任务执行分成两步，便于排查：找不到模型先看文件与扫描，连不上先看进程、端口和密钥，内存不足先减小模型或上下文。
推理在本机运行，不代表所有任务都离线。助手下载依赖、访问网页或调用外部服务时，仍可能使用网络。