|
|
@@ -1,6 +1,6 @@
|
|
|
-# MASS-Base
|
|
|
+# MaaS-Base
|
|
|
|
|
|
-MASS-Base(Model-as-a-Service Base)是一个开源的模型服务(Model-as-a-Service)基础平台,用于高效管理和调度 AI 模型推理服务。它支持多种推理引擎(vLLM、SGLang、TensorRT-LLM 等),可跨多节点进行性能优化与资源编排。
|
|
|
+MaaS-Base(Model-as-a-Service Base)是一个开源的模型服务(Model-as-a-Service)基础平台,用于高效管理和调度 AI 模型推理服务。它支持多种推理引擎(vLLM、SGLang、TensorRT-LLM 等),可跨多节点进行性能优化与资源编排。
|
|
|
|
|
|
## 核心特性
|
|
|
|
|
|
@@ -13,7 +13,7 @@ MASS-Base(Model-as-a-Service Base)是一个开源的模型服务(Model-as-
|
|
|
|
|
|
## 架构
|
|
|
|
|
|
-MASS-Base 由以下核心组件构成:
|
|
|
+MaaS-Base 由以下核心组件构成:
|
|
|
|
|
|
- **API Server:** 基于 FastAPI 构建的 RESTful 接口层,处理认证与授权。
|
|
|
- **Scheduler:** 负责将模型实例调度分配到工作节点。
|
|
|
@@ -28,7 +28,7 @@ MASS-Base 由以下核心组件构成:
|
|
|
|
|
|
## 部署方式
|
|
|
|
|
|
-MASS-Base 支持多种部署方式,请根据场景选择:
|
|
|
+MaaS-Base 支持多种部署方式,请根据场景选择:
|
|
|
|
|
|
| 部署方式 | 适合场景 | 文档 |
|
|
|
|----------|---------|------|
|
|
|
@@ -49,34 +49,34 @@ MASS-Base 支持多种部署方式,请根据场景选择:
|
|
|
#### 方式 A:无 GPU 的 CPU 节点(纯 Server)
|
|
|
|
|
|
```bash
|
|
|
-sudo docker run -d --name mass-base \
|
|
|
+sudo docker run -d --name maas-base \
|
|
|
--restart unless-stopped \
|
|
|
-p 80:80 \
|
|
|
- --volume mass-base-data:/var/lib/mass-base \
|
|
|
- mass-base/mass-base
|
|
|
+ --volume maas-base-data:/var/lib/maas-base \
|
|
|
+ maas-base/maas-base
|
|
|
```
|
|
|
|
|
|
#### 方式 B:有 GPU 的节点(Server + Worker 合一)
|
|
|
|
|
|
```bash
|
|
|
-sudo docker run -d --name mass-base \
|
|
|
+sudo docker run -d --name maas-base \
|
|
|
--restart unless-stopped \
|
|
|
--privileged \
|
|
|
--network host \
|
|
|
--ipc host \
|
|
|
-v /var/run/docker.sock:/var/run/docker.sock \
|
|
|
-v /var/run/cdi:/var/run/cdi \
|
|
|
- -v mass-base-data:/var/lib/mass-base \
|
|
|
+ -v maas-base-data:/var/lib/maas-base \
|
|
|
-v /var/lib/kubelet/device-plugins:/var/lib/kubelet/device-plugins \
|
|
|
-e NVIDIA_VISIBLE_DEVICES=all \
|
|
|
-e NVIDIA_DRIVER_CAPABILITIES=compute,utility \
|
|
|
- mass-base/mass-base
|
|
|
+ maas-base/maas-base
|
|
|
```
|
|
|
|
|
|
### 2. 获取管理员密码
|
|
|
|
|
|
```bash
|
|
|
-sudo docker exec mass-base cat /var/lib/mass-base/initial_admin_password
|
|
|
+sudo docker exec maas-base cat /var/lib/maas-base/initial_admin_password
|
|
|
```
|
|
|
|
|
|
### 3. 访问 UI
|
|
|
@@ -269,7 +269,7 @@ uv run gpustack start \
|
|
|
|
|
|
## License
|
|
|
|
|
|
-Copyright (c) 2024-2026 The MASS-Base authors
|
|
|
+Copyright (c) 2024-2026 The MaaS-Base authors
|
|
|
|
|
|
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at [LICENSE](./LICENSE).
|
|
|
|