本地模型推理
在你自己的硬件上运行开源模型。高性能推理支持连续批处理，安装器会为你的 GPU 自动选择模型与后端。
bash
$ ods status
✓ llm llama-server 已就绪 · 64K ctx
✓ GPU 已检测 · CUDA / Metal / Vulkan
ODS V3 · 预发布无遥测 · 数据不出本机
把你的 PC、Mac 或 Linux变成一台私有 AI 服务器
AI 服务器与家庭实验室的搭建，正迅速成为一件已被解决的问题。 ODS 会安装并串联起你在本地运行 AI 所需的全部组件——推理、聊天界面、控制台、语音、智能体、RAG、搜索与图像生成， 你不必再手动拼装 Ollama、Open WebUI、n8n、ComfyUI 以及各种隐私工具。
- 3
- 受支持平台
- 40GB
- 磁盘空间起
- 0
- 遥测数据收集
- Apache
- 2.0 开源许可
控制台 · 实时状态
llama-server
本地推理 · 连续批处理
Portal
核心对话助手
Open WebUI
聊天界面 · :3000
Qdrant
向量数据库 · RAG
ComfyUI
图像生成
GPU 负载
74%
显存占用
21.4 GB
上下文
64K
// 控制台界面示意 — GPU 指标、服务健康度与模型管理集中一处
ods-installer — bash
$ curl -fsSL https://install.osmantic.com/ods.sh | bash需已安装并运行 Docker。一条命令完成安装、模型选择与服务启动。
Ollamallama.cppOpen WebUIn8nComfyUIWhisperKokoroQdrantSearXNGPerplexicaLiteLLMTEI EmbeddingsLangfuseOpenCodeHermes Agent
Why ODS
如果 AI 正在成为关键基础设施，它就不该被租用。
少数几家公司掌控着全球绝大部分的 AI 流量——以及随之而来的你的数据、你的成本与你的可用性。 你发往某个中心化服务商的每一条查询，都是一份你并不拥有的商业情报， 跑在你无法控制的基础设施上，按你无法协商的条款计价。
自托管本地 AI 应当是一项与生俱来的人权，而不是一种职业选择。 因为运行你自己的 AI，本不该需要先拿到一个计算机学位，再花一整个周末去调试 CUDA 驱动。
我们打造 ODS，就是为了让你可以不必如此。
隐私默认成立
推理过程、聊天记录与你的文件都留在你自己的机器上，ODS 不收集任何遥测数据。 默认情况下，它只在以下情况联网：下载模型与容器镜像、到 GitHub 检查 ODS 更新， 以及运行 Portal 智能体为你发起的网络搜索。云端与混合 API 模式是可选的。
- 01
一条命令
检测你的 GPU，挑选合适的模型，生成凭证，启动一切。
- 02
尽早聊天
引导模式会在核心服务一上线时先启动一个小型模型，完整模型在后台下载。
- 03
预先接好的服务
默认 Core 安装给出本地推理、控制台与聊天界面；语音、工作流、搜索、RAG、图像生成可随时从菜单添加，彼此已经接好。
- 04
完全可魔改
每个服务都是一个扩展。丢进一个文件夹，运行 ods enable，就完成了。
What's inside
一个完整的本地 AI 技术栈，而不是又一个模型服务器
ODS 建立在你可能已经在使用的工具之上，而不是取代它们。它安装这些工具，把它们串联起来，并给你一个统一的地方来运行它们。
llama-server
控制台 Dashboard
从一处集中管理模型、服务、安装、GPU 状态与扩展：实时 GPU 指标、服务健康度、模型下载与切换。
模型管理
:8080已加载
服务健康度
:3001运行中
扩展目录
Core14 个已启用
ChatGPT 风格的 Web 界面
在任意浏览器中与你的模型对话：对话历史、Web 搜索、文档上传，支持 30+ 种语言。
语音、智能体与工作流
构建能够听、说、调用工具并真正完成工作的自动化：语音转文本、文本转语音，以及 400+ 集成的工作流引擎。
RAG 与搜索
连接本地文档、私有搜索与检索工作流：向量数据库、无追踪的自托管搜索、深度研究引擎。
图像生成
运行本地图像工具，而不把提示词发往任何托管 API。基于节点的工作流，全部留在你的机器上。
隐私与运维
将服务鉴权、密钥、可观测性与诊断集中在一个本地技术栈中，包括 PII 擦除代理与令牌用量监视。
The stack
盒子里有什么
默认的 Core 安装给出本地推理、控制台与一个聊天界面。其余组件可从安装器菜单或扩展页添加，它们彼此之间已经接好。
聊天与推理
4 个组件- Open WebUI
- 功能完整的聊天界面：对话历史、Web 搜索、文档上传，30+ 种语言
- llama-server
- 高性能 LLM 推理，连续批处理，为你的 GPU 自动选择
- LiteLLM
- 支持本地 / 云端 / 混合模式的 API 网关
- TEI Embeddings
- 用于 RAG 与搜索工作流的文本嵌入服务
语音
2 个组件- Whisper
- 语音转文本
- Kokoro
- 文本转语音
智能体与自动化
6 个组件- Portal
- 捆绑的核心对话助手，无需私有仓库访问权限或许可证标志
- Hermes Agent
- 独立的通用智能体：记忆、技能与可选门控代理
- n8n
- 工作流自动化，400+ 集成（Slack、邮件、数据库、API）
- APE
- 用于审计与治理自主工具调用的智能体策略引擎
- OpenCode
- 接入本地技术栈的浏览器版 AI 编程助手
- Memory Shepherd
- 用于智能体记忆生命周期管理的宿主辅助进程
知识与搜索
4 个组件- Qdrant
- 用于检索增强生成（RAG）的向量数据库
- SearXNG
- 自托管的 Web 搜索，无追踪
- Perplexica
- 深度研究引擎
- Brave Search
- 可选的付费 Brave Search API 集成
创意
1 个组件- ComfyUI
- 基于节点的图像生成
隐私与运维
5 个组件- Privacy Shield
- 用于 API 调用的 PII 擦除代理
- Dashboard
- 实时 GPU 指标、服务健康度、模型管理
- Dashboard API
- 服务健康、安装、状态、指标与管理 API
- Token Spy
- 面向本地与代理 LLM 流量的令牌用量监视器
- Langfuse
- 可选的 LLM 可观测性与链路追踪
Quickstart
选择你的系统，复制、粘贴、回车
前置条件
- Linux
- 必须先安装并运行 Docker。CI 在 Ubuntu 26.04/24.04/22.04、Debian 12、Fedora 41、Arch、openSUSE Tumbleweed 等发行版上冒烟测试安装器前置条件。
- macOS
- 需要 Apple Silicon（M1+）与 Docker Desktop。llama-server 使用原生 Metal 加速；请把克隆目录放在主文件夹的 ods 路径之外，以免与默认安装目录 ~/ods 冲突。
- Windows
- 需要带 WSL2 后端的 Docker Desktop，由安装器代为准备。NVIDIA 机器请先把 Windows 驱动更新到 570 或更高版本；AMD 走 llama.cpp（Vulkan）路径。
引导模式
ODS 默认使用引导模式，这样你可以在大模型下载完成之前就开始使用。引导模型以 64K 上下文窗口启动，交换完成后恢复完整模型的上下文目标。跳过引导：./install.sh --no-bootstrap
- 01
安装器下载 Qwen3.5 2B（约 1.3 GB）并启动它。
- 02
核心服务一上线，你就可以开始聊天。
- 03
适合你硬件的完整模型在后台下载。
- 04
下载通过校验后，ODS 以完整模型重启模型服务器。
Windows 安装器会做什么
每一步在更改任何内容前都会先征求你的同意；若无法完成，会停下来并给出处理说明；修复后重新运行同一条命令即可。 已有的原生 Windows 安装不会被自动迁移或删除。
- 01
检查可用磁盘空间（40 GB）以及硬件虚拟化是否已开启。
- 02
提供选项以启用 WSL2，并用 winget 安装 Docker Desktop。Windows 会请求管理员权限，然后重启一次；重新登录后安装会自动继续。
- 03
提供选项下载 Ubuntu 24.04，并在 PowerShell 中询问新的 Ubuntu 用户名与密码。
- 04
启动 Docker Desktop，并检查它是否已连接到 Ubuntu。若未连接，会提示你开启那一个设置，一旦连通便立即继续。
- 05
在 Ubuntu 内以 --pixel --no-hermes 安装 ODS。当 Ubuntu 询问 [sudo] password 时，输入 Ubuntu 密码即可，输入时屏幕上没有任何显示。
- 06
验证 Pixel 与 Portal，然后在浏览器中打开 Portal，并向桌面添加一个 ODS Portal 快捷方式。
安装后验证
安装器成功完成后，Portal 会在http://localhost:3001/pixel打开；http://localhost:3000 是 Open WebUI，一个独立的界面。请验证 Portal 可用并发送一条消息——仅仅是加载出一个控制台，并不代表 Pixel 已就绪。
API 端点
Linux 的 Docker 安装默认在localhost:11434暴露 llama-server，容器内部使用llama-server:8080。macOS 原生 Metal 与 Windows 的 AMD 路径使用localhost:8080。每个端口都可以通过环境变量配置，例如WEBUI_PORT=9090 ./install.sh。
Hardware
硬件自动检测，模型自动匹配
安装器会检测你的 GPU，并首先分配一个确定性的硬件层级。随后 Linux 与 macOS 运行带版本的目录选择器，Windows 使用 PowerShell 目录选择器；二者都读取model-library.json，在检测到的内存区间内挑选可安装的最佳 GGUF。
最终选择写入.env 中的LLM_MODEL、GGUF_FILE、MAX_CONTEXT 等变量。
切换模型
推荐的方式是 控制台 → Models：它会列出适配你硬件的模型，以校验和验证方式下载并加载。若某个模型启动失败，ODS 会恢复为上一个模型。
$ ods model current $ ods restart llm
已有 GGUF？把单个 .gguf 文件放进 data/models/，然后在控制台中加载这个本地条目。
NVIDIA
5 个配置档位| 显存 | 默认选择 | 上下文 | 示例硬件 |
|---|---|---|---|
| 8–16 GB | Qwen3.5 9B (Q4_K_M) | 64K | RTX 4060 / 4070 级别 |
| 24–32 GB | Qwen3.5 27B (Q4_K_M) | 64K | RTX 4090 / 5090 |
| 48 GB | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | RTX 6000 Ada / L40S |
| 96 GB+ (x86_64) | Qwen3 Coder Next (Q4_K_M) | 128K | RTX PRO 6000 / 多 GPU |
| 128 GB (arm64) | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | DGX Spark / GB10 |
AMD Strix Halo · 统一内存
1 个配置档位| 内存 | 默认选择 | 上下文 | 硬件 |
|---|---|---|---|
| 64–128 GB | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | Ryzen AI MAX+ 395 |
Apple Silicon · Metal
3 个配置档位| 内存 | 默认选择 | 上下文 | 示例硬件 |
|---|---|---|---|
| 8 GB | NVIDIA Nemotron3 Nano 4B (Q4_K_M) | 64K | M1 / M2 基础款 |
| 16–36 GB | Qwen3.5 9B (Q4_K_M) | 64K | M4 Mac mini / M3 Pro |
| 48 GB+ | Qwen3.6 35B-A3B (UD-Q4_K_M) | 128K | M4 Pro/Max / Mac Studio |
仅 CPU
3 个配置档位| 系统内存 | 默认选择 | 上下文 |
|---|---|---|
| 8–12 GB | Qwen3.5 2B (Q4_K_M) | 64K |
| 16–20 GB | Qwen3.5 4B (Q4_K_M) | 64K |
| 24 GB+ | Qwen3.5 9B (Q4_K_M) | 64K |
Intel Arc · 实验性
Intel Arc 属于实验性（C 级），硬件检测目前还无法识别 Arc GPU，请自行传入层级： 对 6–8 GB 显卡用./install.sh --tier ARC_LITE，对 16 GB 显卡用--tier ARC。统一内存主机会避开 Qwen3 Coder Next，因为在这些后端上存在已记录的正确性问题。
Extensible
ODS 的设计，就是用来魔改的
每个服务都是一个扩展——一个带有manifest.yaml与compose.yaml的文件夹。控制台、CLI、健康检查与 compose 技术栈都会自动发现这些扩展。 安装器本身也是模块化的——41 个库模块、一个共享的服务注册表，以及 14 个有序的阶段文件。
extensions/services/
YAML / Composeextensions/services/
my-service/
manifest.yaml # 元数据：名称、端口、健康端点、GPU 后端
compose.yaml # Docker Compose 片段（自动合并进技术栈）
$ ods enable my-service # 启用它
$ ods disable my-service # 禁用它
$ ods list # 查看全部ods-cli 命令大全
11 条常用管理指令odsCLI 集中管理你的整个本地 AI 技术栈生命周期：
- ods status
- 健康检查 + GPU 状态
- ods list
- 所有服务及其状态
- ods logs llm
- 跟踪日志（别名：llm、stt、tts）
- ods restart [service]
- 重启一个或全部服务
- ods start / stop
- 启动或停止技术栈
- ods mode cloud
- 通过 LiteLLM 切换到云端 API
- ods mode local / hybrid
- 本地推理 / 本地为主、云端兜底
- ods model swap T3
- 切换到不同的硬件层级
- ods enable n8n
- 启用一个扩展
- ods config show
- 查看 .env（密钥已遮蔽）
- ods preset save / load
- 快照并恢复当前配置
Platform support
三个平台，一致的安装体验
- Linux（NVIDIA + AMD Strix Halo）
- 硬件与发行版限制见支持矩阵
- Linux + Intel Arc（SYCL）
- 验证因硬件而异
- Windows（NVIDIA + AMD）
- 现在即可安装运行
- macOS（Apple Silicon）
- 现在即可安装运行
Linux 发行版：CI 在 Ubuntu 26.04/24.04/22.04、Debian 12、Linux Mint 21.3、Fedora 41、Rocky Linux 9、Arch Linux、Manjaro、CachyOS 与 openSUSE Tumbleweed 上冒烟测试包管理器检测与安装器前置条件。若你的发行版无法工作，请提交 issue。
发布验证：涉及运行的变更会经过一道发布级别的闸口，覆盖零前置条件的引导、干净安装、产品行为、完整模型能力、生命周期恢复以及用户级验收。
How it differs
它有何不同
ODS 自身的着力点，是这些工具之外的一层：检测你的硬件、选择并验证模型、生命周期命令（安装、更新、备份、卸载），以及一个扩展目录。
Ollama、llama.cpp 或 LM Studio
对比它给你：本地模型服务
ODS 额外提供：对硬件敏感的模型选择、周边服务，以及用于管理它们的控制台
Open WebUI
对比它给你：带 RAG、语音与图像生成集成的聊天界面
ODS 额外提供：在本地推理、语音、搜索与图像服务旁安装并配置它，并管理登录与网络暴露
LocalAI
对比它给你：兼容 OpenAI 的 API，含文本、音频与图像后端
ODS 额外提供：控制台、Portal 智能体、工作流，以及围绕本地推理的附加应用目录
n8n 的自托管 AI 入门套件
对比它给你：带本地模型的工作流自动化
ODS 额外提供：工作流作为受管本地 AI 服务器的一部分
Documentation
文档
README 只聚焦于产品概览；长篇的致谢、上游鸣谢与贡献者历史收录在 CONTRIBUTORS.md。 以下文档覆盖安装、运维、验证、安全与派生。
快速开始
带排障的逐步安装指南
文档索引
面向运维、贡献者与审阅者的维护地图
Portal 运行时
资格、许可证边界、架构、安装、安全与回滚
许可
Apache-2.0 的 ODS 代码与 Pixel 的仅限 ODS 授权
在 ODS 上构建
派生、自定义版本、扩展模板与下游验证
可派生性
如何派生、审计、定制并独立运营 ODS
支持矩阵
当前平台与 GPU 支持状态
发布验证
用户级验收闸口与发布级机群验证策略
V3 发布说明
已发布的 V3 源代码身份与资格边界
验证矩阵
脱敏后的 CI、发行版实验室与真实硬件机群证据
离线与时镜像
版本钉固、镜像与发布产物留存
安装器信任
先检查后安装的路径与引用钉固
模型管理
GGUF 发现、已验证导入、切换与恢复
硬件指南
该买什么、层级建议
常见问题
常见问题与配置
扩展
如何添加自定义服务
安装器架构
模块化安装器深度解析
更新日志
版本历史与发布说明