Skip to content

[Feature] Model management-model docking adds GPUStack support #1910

@pengjiang80

Description

@pengjiang80

MaxKB Version

1.8.0

Please describe your needs or suggestions for improvements

在模型对接增加GPUStack支持,GPUStack(https://github.com/gpustack/gpustack) 是一个100%开源的GPU集群管理和模型服务平台,用户只需要简单的设置,就可以高效整合包括 NVIDIA、Apple Metal、华为昇腾和摩尔线程在内的各种异构 GPU/NPU 资源,构建异构 GPU 集群,在私有环境提供企业级的大模型部署解决方案。

GPUStack 支持私有化部署 RAG 系统和 AI Agent 系统所需的各种关键模型,包括 LLM 大语言模型、VLM 多模态模型、Embedding 文本嵌入模型、Rerank 重排序模型、Text-to-Image 文生图模型,以及 Speech-to-Text(STT)和 Text-to-Speech(TTS)语音模型等。并提供统一认证和高可用负载均衡的 OpenAI 兼容 API,供用户从各类大模型云服务无缝迁移到本地部署的私有大模型服务。

关于GPUStack的简要介绍和功能说明可以参考:https://mp.weixin.qq.com/s/FcDswFWzdn8fBdJEx_f8kA

Please describe the solution you suggest

No response

Additional Information

No response

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions