update tts stream

Author: shell-nlp

gpt_server/script/config_example.yaml

@@ -130,3 +130,15 @@ models:
     workers:
     - gpus:
       - 2
+- tts:
+    # TTS 模型的配置方式
+    alias: null
+    enable: true
+    model_config:
+      model_name_or_path: /home/dev/model/SparkAudio/Spark-TTS-0___5B/
+    model_type: spark_tts
+    work_mode: vllm
+    device: gpu
+    workers:
+    - gpus:
+      - 6

tests/test_openai_tts_stream.py

@@ -3,9 +3,12 @@
 
 speech_file_path = Path(__file__).parent / "speech.mp3"
 client = OpenAI(api_key="EMPTY", base_url="http://localhost:8082/v1")
+
 with client.audio.speech.with_streaming_response.create(
     model="tts",
     voice="新闻联播女声",  # 暂时仅支持 新闻联播女声
     input="本期节目主要内容： 一.习近平在参加北京市区人大代表换届选举投票时强调 不断发展全过程人民民主 加强选举全过程监督",
 ) as response:
-    response.stream_to_file(speech_file_path)
+    with open(speech_file_path, mode="wb") as f:
+        for chunk in response.iter_bytes():
+            f.write(chunk)  # 这个 chunk 可以直接通过播放器进行流式的 实时播放