English | 简体中文
DeepStressModel 是一个强大的 AI 模型性能测试和监控工具，专门设计用于评估和分析大型语言模型的性能表现。通过直观的图形界面和全面的数据分析功能，帮助开发者和研究人员更好地理解和优化他们的 AI 模型。
- 并发测试: 支持自定义并发数的压力测试
- 多数据集支持: 可同时测试多个数据集，支持权重配置
- 实时监控: 提供实时响应时间、生成速度等关键指标的可视化展示
- 自动化测试: 支持批量测试和定时任务（正在开发中）
- 输出模式: 支持流式输出和直接输出两种测试模式，满足不同场景需求
- 多卡监控: 支持多 GPU 卡的并行监控和负载均衡分析
- 实时监控: 支持本地和远程 GPU 使用情况的实时监控
- 远程连接: 支持自定义 SSH 端口（默认22），方便适配不同的服务器配置
- 关键指标: 包括显存使用、GPU 利用率、温度、功耗等
- 历史记录: 保存历史监控数据，支持趋势分析和负载预测
- 标准化测试流程: 基于预设测试集和固定测试环境的规范化测试
- 自动框架识别: 自动识别当前运行模型的框架类型（如Ollama、llama.cpp、vLLM等）
- 多指标评估: 综合吞吐量、延迟、响应时间等多维度评估模型性能
- 排行榜支持: 支持在线和离线两种模式提交测试结果至排行榜
- 安全加密: 提供结果加密功能，保护敏感测试数据
- 自动评分: 根据多维度性能指标自动计算综合得分
- 丰富的图表: 多维度数据可视化展示
- 性能指标: 包括平均响应时间、TPS、生成速度等
- 数据导出: 支持测试数据的导出和报告生成
- 简洁操作: 直观的标签页设计
- 实时反馈: 测试进度和结果实时展示
- 灵活配置: 支持多种测试参数自定义
-
GUI 模块
- 基于 PyQt5 构建
- 响应式界面设计
- 多标签页管理
- 实时数据流可视化
-
测试引擎
- 异步并发处理
- API 调用管理
- 数据收集与统计
- 支持流式和直接输出模式
- 智能负载均衡
-
监控系统
- 多 GPU 资源监控
- 系统性能追踪
- 远程监控支持
- 负载均衡分析
- 性能预警机制
-
跑分系统
- 标准化测试协议
- 自动框架识别
- 结果加密与验证
- 结果本地存储与上传
- 多模式（在线/离线）支持
-
数据管理
- SQLite 数据存储
- 配置管理
- 测试记录持久化
- 加密数据处理
DeepStressModel提供了完整的模型性能排行榜系统，帮助用户了解不同模型在各种硬件环境下的性能表现。 访问方式：https://tops.ginease.cn:4433
- 全球排名: 查看模型在全球范围内的性能排名
- 多维度排序: 按吞吐量、延迟、内存效率等多个维度进行排序
- 硬件过滤: 基于硬件配置筛选排行榜数据
- 结果验证: 防作弊系统确保所有提交的结果真实可信
- 个人记录: 追踪个人设备上的测试历史记录
- 在线/离线模式: 支持在线实时提交和离线批量提交两种方式
- 运行标准测试: 使用DeepStressModel内置的标准测试流程
- 提交结果: 选择加密并上传结果至排行榜服务器
- 查看排名: 通过排行榜网站查看最新排名和详细数据分析
- 结果加密传输
- 硬件指纹验证
- 防作弊系统监控
- 用户匿名选项
-
功能增强
- 添加更多数据可视化选项
- 支持更多类型的 AI 模型
- 增强远程监控功能
-
性能优化
- 提升大规模测试性能
- 优化内存使用
- 改进数据处理效率
-
排行榜扩展
- 构建综合评分系统
- 添加模型效率分析
- 支持更多硬件平台
- 增加社区互动功能
- 优化排行榜UI和用户体验
-
云端集成
- 支持云端部署
- 分布式测试支持
- 多用户协作功能
-
智能分析
- AI 辅助分析
- 自动优化建议
- 智能报告生成
-
生态系统拓展
- 开放API接口
- 第三方插件支持
- 跨平台应用支持
我们欢迎社区贡献！如果您想参与项目开发，请：
- Fork 本仓库
- 创建您的特性分支
- 提交您的改动
- 创建 Pull Request
本项目采用 MIT 许可证 - 详见 LICENSE 文件
- 项目主页：GitHub
- 问题反馈：Issues
- 邮件联系：your.email@example.com
DeepStressModel - 让 AI 模型测试更简单、更高效！