LLM API 并发性能测试工具

用于测试大语言模型(LLM) API并发性能的工具包，主要关注在高并发场景下API的性能表现。

主要功能

• 高并发测试: 支持模拟数千并发用户，测试API在高负载下的表现
• 流式响应支持: 特别针对LLM的流式输出(SSE)接口进行测试和指标收集
• 多种测试模式: 支持基础测试、渐进式加载测试、峰值压力测试、持久性能测试等
• 全面指标收集: 记录TTFT、TTCT、TPS、QPS、延迟、成功率等关键指标
• 自动生成可视化报告: 使用交互式图表展示测试结果，分别针对SSE和非SSE接口进行指标统计
• 详细日志记录: 自动将所有测试过程的日志保存到外部文件，方便问题排查和分析

可视化功能

测试完成后，系统会自动生成交互式HTML报告，包含以下可视化内容：

大模型(SSE)接口指标

• TPS(每秒令牌数)曲线
• 响应时间(TTFT/TTCT)分布
• 令牌生成数量分布
• 端点性能对比

普通(非SSE)接口指标

• QPS(每秒请求数)曲线
• 响应延迟分布
• 各端点成功率
• 各端点平均响应时间

整体性能指标

• 请求类型分布
• 错误类型分布
• 测试摘要统计

日志功能

系统会自动将测试过程中的所有日志保存到文件中：

• 常规日志文件: logs/[测试名称]_[时间戳].log

  • 包含测试过程中的基本信息和关键事件
  • 按大小(100MB)自动轮转，压缩存储

• 详细测试日志: logs/[测试名称]_details_[时间戳].txt

  • 记录测试过程的完整细节，包括请求、响应和性能指标
  • 便于后续分析和问题排查
  • 彩色格式化，方便阅读

所有日志会在测试开始时自动创建，不需要额外配置。

快速开始

查看 api_test_project/examples/ 目录获取使用示例。