- 模型推理API
- 任务查询API
采用React + Arco Design
- 管理APIToken, 增删改查
- 监控当前任务状态，获取排队任务数量
- 监控当前GPU状态，获取GPU使用情况, 内存使用情况
！！注意
在linux服务器部署前需要安装python-dev,否则oss下载和上传操作将会很慢
sudo apt-get install python-dev -
Notifications
You must be signed in to change notification settings - Fork 2
OpenAISpace/model-server
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
使用fastapi为AI模型提供推理服务，提供鉴权，错误重试，超时重试，异步任务，任务进度查询，数据校验等
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published