MaxKB Version
1.8.0
Please describe your needs or suggestions for improvements
在模型对接增加GPUStack支持,GPUStack(https://github.com/gpustack/gpustack) 是一个100%开源的GPU集群管理和模型服务平台,用户只需要简单的设置,就可以高效整合包括 NVIDIA、Apple Metal、华为昇腾和摩尔线程在内的各种异构 GPU/NPU 资源,构建异构 GPU 集群,在私有环境提供企业级的大模型部署解决方案。
GPUStack 支持私有化部署 RAG 系统和 AI Agent 系统所需的各种关键模型,包括 LLM 大语言模型、VLM 多模态模型、Embedding 文本嵌入模型、Rerank 重排序模型、Text-to-Image 文生图模型,以及 Speech-to-Text(STT)和 Text-to-Speech(TTS)语音模型等。并提供统一认证和高可用负载均衡的 OpenAI 兼容 API,供用户从各类大模型云服务无缝迁移到本地部署的私有大模型服务。
关于GPUStack的简要介绍和功能说明可以参考:https://mp.weixin.qq.com/s/FcDswFWzdn8fBdJEx_f8kA
Please describe the solution you suggest
No response
Additional Information
No response