在使用Cosyvoice2 runtime/triton_trtllm 的grpc测试出现卡住

[Autonomof]

作者你好！非常感谢你的开源~，目前我在部署Cosyvoice2的官方代码的时候发现进行grpc 测试运行命令行的bash.sh 5 5 会出现如下的卡顿,，会在一开始合成成功第一条音频，后面就一直卡着这：root@4a100-2:/data/CosyVoice/runtime/triton_trtllm# bash run.sh 5 5
Running benchmark client grpc
Initializing gRPC client for streaming mode...
Using the latest cached version of the dataset since yuekai/seed_tts_cosy2 couldn't be found on the Hugging Face Hub
Found the latest cached dataset configuration 'default' at /root/.cache/huggingface/datasets/yuekai___seed_tts_cosy2/default/0.0.0/95869ff1a4948c5053be051e26c6113deee2e7e6 (last modified on Mon Oct 13 11:45:04 2025).
task-0: Initializing sync client for streaming...
task-0: Starting streaming processing for 26 items.
task-0: Processing item 0/26

期待回复！

[yuekaizhang]

@Autonomof 这个问题有人也遇到了，你可以试试这个最新的代码 https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/docker-compose.dit.yml

llm不再使用 triton trt_llm backend 了，而是使用 trt-llm 直接部署(你也可以直接替换成 vllm, sglang), 然后在 triton 里面调用部署好的 llm 的 url, 就没有这个问题了 https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/model_repo/cosyvoice2_dit/1/model.py#L105

[Autonomof]

@yuekaizhang 感谢回答！！刚刚看到消息，我正在尝试，但是发现在https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/docker-compose.dit.yml里面 git clone https://github.com/yuekaizhang/Step-Audio2.git -b trt 的代码仓库是你的私有仓库，我是否可以直接通过克隆主仓库 https://github.com/stepfun-ai/Step-Audio2.git 或者还是有什么解决方法吗？

[yuekaizhang]

@yuekaizhang 感谢回答！！刚刚看到消息，我正在尝试，但是发现在https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/docker-compose.dit.yml里面 git clone https://github.com/yuekaizhang/Step-Audio2.git -b trt 的代码仓库是你的私有仓库，我是否可以直接通过克隆主仓库 https://github.com/stepfun-ai/Step-Audio2.git 或者还是有什么解决方法吗？

@Autonomof 想要一键测试的话，必须要用我的 branch

如果只是为了解决这个 issue 的 hang 的问题，可以自己修改代码，仿照 model_repo/cosyvoice_dit/1/model.py 来修改现在的 cosyvoice/1/model.py, 修改好了的话也可以给 cosyvoice 提个 PR

[Autonomof]

@yuekaizhang 你好，还是有两个问题：1.‘我的branch‘是指官方Cosyvoice代码下还是你的代码下的main呢？2.因为不清除这个我就仿照 model_repo/cosyvoice_dit/1/model.py 来修改现在的 cosyvoice/1/model.py，但是目前还是没解决这个问题，grpc server端侧只是回复了send tritonserver_response_complete_final to end 后合成完一段音频就结束，还是和之前情况一样。

[yuekaizhang]

@yuekaizhang 你好，还是有两个问题：1.‘我的branch‘是指官方Cosyvoice代码下还是你的代码下的main呢？2.因为不清除这个我就仿照 model_repo/cosyvoice_dit/1/model.py 来修改现在的 cosyvoice/1/model.py，但是目前还是没解决这个问题，grpc server端侧只是回复了send tritonserver_response_complete_final to end 后合成完一段音频就结束，还是和之前情况一样。

@Autonomof 1. 指的是 yuekaizhang 下面的仓库， https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/docker-compose.dit.yml

2. 测试的脚本（服务启动，client 发送等）也都参考这个https://github.com/yuekaizhang/CosyVoice/blob/streaming/runtime/triton_trtllm/README.DIT.md