MASS-Base

MASS-Base 是一个开源的模型服务（Model-as-a-Service）基础平台，用于高效管理和调度 AI 模型推理服务。它支持多种推理引擎（vLLM、SGLang、TensorRT-LLM 等），可跨多节点进行性能优化与资源编排。

核心特性

多集群管理：统一管理多个环境中的计算节点，支持本地服务器和云平台。
可插拔推理引擎：自动配置 vLLM、SGLang、TensorRT-LLM 等高性能推理引擎，也支持自定义引擎接入。
开箱即用的模型部署：新模型发布即可快速部署。
性能优化配置：内置低延迟与高吞吐预调优模式，支持扩展 KV Cache（如 LMCache、HiCache）以降低 TTFT，并内置投机解码（EAGLE3、MTP、N-grams）支持。
企业级运维能力：支持自动故障恢复、负载均衡、监控、认证与访问控制。

架构

MASS-Base 由以下核心组件构成：

API Server：基于 FastAPI 构建的 RESTful 接口层，处理认证与授权。
Scheduler：负责将模型实例调度分配到工作节点。
Controllers：管理系统资源状态，处理模型实例的扩缩容。
Worker：检测 GPU 设备，管理模型实例的生命周期并导出性能指标。
AI Gateway：基于 Higress 构建，负责 API 路由与负载均衡。
SQL Database：默认使用嵌入式 PostgreSQL，也支持外部 PostgreSQL 或 MySQL。

快速开始

前置要求

至少一台 Linux 节点（支持 NVIDIA GPU、AMD GPU、Ascend NPU、Hygon DCU、MThreads GPU、Iluvatar GPU、MetaX GPU、Cambricon MLU、T-Head PPU 等加速器）。
工作节点需安装驱动、Docker 和 NVIDIA Container Toolkit。
服务端可运行在无 GPU 的 CPU 节点上，需安装 Docker。

安装服务端

sudo docker run -d --name mass-base \
    --restart unless-stopped \
    -p 80:80 \
    --volume mass-base-data:/var/lib/mass-base \
    mass-base/mass-base

启动后查看日志：

sudo docker logs -f mass-base

获取默认管理员密码：

sudo docker exec mass-base cat /var/lib/mass-base/initial_admin_password

在浏览器中访问 http://your_host_ip，使用用户名 admin 和获取到的密码登录。

部署模型

在 MASS-Base UI 中进入 Catalog 页面。
选择可用模型，通过兼容性检查后点击 Save 部署。
部署状态变为 Running 后即可通过 UI Playground 或 API 调用。

使用 API

在 UI 中进入 API Keys 页面，创建新的 API Key。

使用 API Key 调用 OpenAI 兼容接口：

export MASS_API_KEY=your_api_key
curl http://your_mass_base_server_url/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $MASS_API_KEY" \
-d '{
"model": "your-model-name",
"messages": [
  { "role": "system", "content": "You are a helpful assistant." },
  { "role": "user", "content": "Tell me a joke." }
],
"stream": true
}'

构建

安装 Python 3.10 ~ 3.12。
执行构建：
```
make build
```

构建产物位于 dist 目录。

开发

# 安装开发依赖
make install

# 本地开发启动（需先运行数据库）
uv run gpustack start \
  --database-url postgresql://postgres:mysecretpassword@localhost:5432/postgres \
  --gateway-mode disabled \
  --api-port 80

更多开发指南请参考 Development Guide。

文档

完整文档请访问官方文档站点。

加入社区

有任何问题或建议，欢迎加入我们的 Discord 社区获取支持。

License

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at LICENSE.

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.

README.md 4.4 KB Түүх Анхны өгөгдөл