gpt_server v0.3.6

gpt_server v0.3.6

What's Changed

1. vllm 后端支持QVQ模型 #28
2. 更新 vllm==0.7.2 lmdeploy=0.7.0.post3 transformers==4.48.2 pynvml==12.0.0
3. 修复lmdepy 解析模型类型的bug
4. 支持文本审核模型
5. 支持edge-TTS
6. HF后端支持guided_decoding
7. 使用高性能json序列化库
8. 优化架构

gpt_server v0.3.5

gpt_server v0.3.5

What's Changed

1. 兼容v1/rerank 接口 #25 #6
2. 修复glm4的推理问题 #21
3. 更新infinity==0.0.73 vllm==0.6.5
4. 支持了 Phi-4
5. 优化了 Function Calling
6. 将pip 项目管理修改为了 uv

gpt_server v0.3.4

gpt_server v0.3.4

What's Changed

1. 实现了guided_decoding response_format #17
2. 修复了glm4模型推理异常 #21
3. 升级vllm==0.6.4.post1

gpt_server v0.3.3

gpt_server v0.3.3

What's Changed

1. 支持可视化配置
2. 修改配置文件架构
3. 升级lmdeploy=0.6.2
4. 开放 dtype 配置 #19
5. 优化架构

gpt_server v0.3.2

gpt_server v0.3.2

What's Changed

1. 支持了多模态模型 qwen VL #14 、minicpmv
2. 支持了 embedding 模型 puff
3. 修复了lmdeploy后端的bug
4. 开放 prefix_caching能力
5. 优化架构

gpt_server v0.3.1

gpt_server v0.3.1

What's Changed

1. 支持了Infinity后端，推理速度大于onnx/tensorrt，支持动态组批
2. 支持了多模态模型 glm-4v-gb 的LMDeploy PyTorch后端 #11
3. 优化了requirements #12
4. 优化了配置文件的结构

gpt_server v0.2.2

gpt_server v0.2.2

更新

1. 全球唯一支持Tools（Function Calling）功能的开源框架。兼容LangChain的 bind_tools、AgentExecutor、with_structured_output写法（目前支持Qwen系列、GLM系列）#4
2. 修复了Embeding加载设备错误的问题 #8
3. 支持了Qwen2和GLM4模型
4. 修复了completion的问题

v0.2.1

gpt_server v0.2.1

1.支持了Lmdeploy后端

2.修复了对请求数量的限制

3.修复了logs目录错误问题